[论文解读] Efficient and Accurate Estimation of Lipschitz Constants for Deep Neural Networks

Mahyar Fazlyab, Alexander Robey+3 more|arXiv (Cornell University)|Jun 11, 2019

Adversarial Robustness in Machine Learning被引用 108

一句话总结

介绍 LipSDP，一种凸半正定规划框架，通过将激活函数建模为二次约束来对深度神经网络给出紧致的全局 Lipschitz 上界，具有可扩展的变体和分布式实现。

ABSTRACT

Tight estimation of the Lipschitz constant for deep neural networks (DNNs) is useful in many applications ranging from robustness certification of classifiers to stability analysis of closed-loop systems with reinforcement learning controllers. Existing methods in the literature for estimating the Lipschitz constant suffer from either lack of accuracy or poor scalability. In this paper, we present a convex optimization framework to compute guaranteed upper bounds on the Lipschitz constant of DNNs both accurately and efficiently. Our main idea is to interpret activation functions as gradients of convex potential functions. Hence, they satisfy certain properties that can be described by quadratic constraints. This particular description allows us to pose the Lipschitz constant estimation problem as a semidefinite program (SDP). The resulting SDP can be adapted to increase either the estimation accuracy (by capturing the interaction between activation functions of different layers) or scalability (by decomposition and parallel implementation). We illustrate the utility of our approach with a variety of experiments on randomly generated networks and on classifiers trained on the MNIST and Iris datasets. In particular, we experimentally demonstrate that our Lipschitz bounds are the most accurate compared to those in the literature. We also study the impact of adversarial training methods on the Lipschitz bounds of the resulting classifiers and show that our bounds can be used to efficiently provide robustness guarantees.

研究动机与目标

• 推动对深度神经网络全局 Lipschitz 常数的紧致且可扩展的估计。
• 开发一个凸优化框架，提供对 Lipschitz 常数的有保证的上界。
• 通过二次约束捕捉激活函数性质，以便实现 SDP 形式。
• 提供在估计精度与计算可扩展性之间进行权衡的变体。
• 证明在学习增强系统中的鲁棒性认证和稳定性分析方面的适用性。

提出的方法

• 将激活函数解释为凸势的梯度，以推导二次约束。
• 将 Lipschitz 估计表述为一个称为 LipSDP 的半正定规划（SDP）。
• 引入单层和多层 LipSDP 公式，含有控制精度和可扩展性的决策变量。
• 提出一组放宽（Neuron、Layer）及大规模网络的并行化策略的层次结构。
• 通过将网络拆分为子网络来实现分布式实现，以保持可扩展性。
• 讨论利用重复激活函数的改进，在使用固定点时收紧界限。

实验结果

研究问题

• RQ1 是否存在一个凸 SDP 框架，能够对深度神经网络的全局 Lipschitz 常数给出有保证的上界？
• RQ2 如何将激活非线性因素编码为二次约束，以实现可扩展的 Lipschitz 估计？
• RQ3 LipSDP 变体在精度与可扩展性之间的权衡是什么，它们在实际数据集上的表现如何？
• RQ4 鲁棒训练如何影响分类器的 Lipschitz 上界和鲁棒性保证？
• RQ5 该框架是否能够扩展到多层网络以及欧几里得范数之外的其他范数？

主要发现

• LipSDP 在所测试的网络中提供的 Lipschitz 上界显著比现有方法更紧。
• 对于 MNIST 分类器网络，LipSDP 的上界几乎接近真实 Lipschitz 常数，并且优于可比方法。
• 鲁棒训练程序（LP-Train、PGD-Train）降低 Lipschitz 上界，意味着鲁棒性提升。
• 分布式/子网络方法显著提升了大规模网络的可扩展性，同时不牺牲界限质量。
• 实证结果表明，上界可以用于推导最小对抗扰动的非空洞下界。