[论文解读] Exactly Computing the Local Lipschitz Constant of ReLU Networks

Matt Jordan, Alexandros G. Dimakis|arXiv (Cornell University)|Mar 2, 2020

Adversarial Robustness in Machine Learning参考文献 38被引用 26

一句话总结

本文提出LipMIP，这是首个使用混合整数规划（MIP）在ℓ₁和ℓ∞范数下精确计算ReLU神经网络局部Lipschitz常数的精确方法。它建立了Lipschitz常数与广义雅可比矩阵之间理论基础的联系，并证明了近似结果的强不可近似性，表明即使在输入维度的近似线性因子范围内近似该常数也是困难的。该方法使得对Lipschitz估计器的精确评估成为可能，并揭示了网络结构与正则化对鲁棒性的影响。

ABSTRACT

The local Lipschitz constant of a neural network is a useful metric with applications in robustness, generalization, and fairness evaluation. We provide novel analytic results relating the local Lipschitz constant of nonsmooth vector-valued functions to a maximization over the norm of the generalized Jacobian. We present a sufficient condition for which backpropagation always returns an element of the generalized Jacobian, and reframe the problem over this broad class of functions. We show strong inapproximability results for estimating Lipschitz constants of ReLU networks, and then formulate an algorithm to compute these quantities exactly. We leverage this algorithm to evaluate the tightness of competing Lipschitz estimators and the effects of regularized training on the Lipschitz constant.

研究动机与目标

• 提供ReLU网络局部Lipschitz常数的精确计算方法，这对于鲁棒性、泛化能力和公平性评估至关重要。
• 解决在非光滑、多输出ReLU网络中缺乏精确估计Lipschitz常数方法的问题。
• 建立Lipschitz常数近似可计算性的理论边界，证明ℓ₁和ℓ∞范数下存在强不可近似性结果。
• 将现有启发式与上界Lipschitz估计器的紧致性与真实精确值进行对比评估。
• 利用精确计算分析网络结构与正则化对Lipschitz常数的影响。

提出的方法

• 本文将局部Lipschitz常数表述为广义雅可比矩阵中元素的上确界范数的优化问题，将经典结果扩展至非光滑、向量值函数。
• 提出了一项充分条件，使得标准反向传播链式法则始终生成广义雅可比矩阵的一个元素，从而实现正确计算。
• 所提出的LipMIP方法利用混合整数规划（MIP）在多面体域上精确计算局部Lipschitz常数，借助MIP求解器求解优化问题。
• 引入了松弛变体：在指定整数间隙下提前停止的LipMIP，以及LipLP线性规划松弛，以在效率与精度之间取得平衡。
• 该方法支持多种范数，包括ℓ₁、ℓ∞，以及用于多分类鲁棒性验证的交叉范数。
• 该方法在MNIST和合成数据集上进行了验证，对比了不同架构与正则化方案下各种估计器的精确结果。

实验结果

研究问题

• RQ1 是否能够精确计算ReLU网络在ℓ₁和ℓ∞范数下的局部Lipschitz常数，如果可以，如何实现？
• RQ2 ReLU网络Lipschitz常数的近似存在哪些理论极限，实现常数因子近似有多困难？
• RQ3 不同正则化方案与网络架构如何影响实际Lipschitz常数，这些影响能否被可靠测量？
• RQ4 与真实精确值相比，现有启发式与上界Lipschitz估计器的紧致性如何？
• RQ5 通过MIP实现的精确计算能否用于验证与改进深度学习模型的鲁棒性认证与公平性度量？

主要发现

• 本文证明，在输入维度接近线性增长的因子范围内，近似标量ReLU网络在ℓ₁或ℓ∞范数下的局部Lipschitz常数是强不可近似的。
• LipMIP成功在ℓ₁和ℓ∞范数下精确计算了ReLU网络的局部Lipschitz常数，结果在MNIST和合成数据集上得到验证。
• 线性规划松弛（LipLP）在随机网络上产生+462.26%的相对误差，在合成数据集上产生+389.80%的相对误差，表明其结果显著松散。
• 在1%整数间隙下对LipMIP进行提前停止，可将随机网络的相对误差降低至0.72%，合成数据集上降低至0.57%，在获得接近最优界的同时实现显著加速。
• 即使在实验中表现先进的估计器如LipSDP也未能提供紧致边界，其结果显著高估了真实常数。
• 本研究揭示了正则化与网络结构选择对Lipschitz常数具有可测量、可量化的显著影响，现在可通过精确方法进行系统研究。