[论文解读] Efficiently Computing Local Lipschitz Constants of Neural Networks via Bound Propagation

Zhouxing Shi, Yihan Wang+3 more|arXiv (Cornell University)|Oct 13, 2022

Adversarial Robustness in Machine Learning被引用 8

一句话总结

该论文提出了一种可扩展的框架，通过在Clarke雅克比矩阵的高阶反向计算图上使用线性边界传播，高效计算神经网络的紧致$ε_{ ext{∞}}$局部Lipschitz常数。通过推导非线性激活梯度的紧致闭式线性松弛，并与分支定界法结合，该方法在紧致性和可扩展性方面达到当前最优，优于先前方法在大型模型（包括实际的卷积神经网络）上的表现。

ABSTRACT

Lipschitz constants are connected to many properties of neural networks, such as robustness, fairness, and generalization. Existing methods for computing Lipschitz constants either produce relatively loose upper bounds or are limited to small networks. In this paper, we develop an efficient framework for computing the $\ell_\infty$ local Lipschitz constant of a neural network by tightly upper bounding the norm of Clarke Jacobian via linear bound propagation. We formulate the computation of local Lipschitz constants with a linear bound propagation process on a high-order backward graph induced by the chain rule of Clarke Jacobian. To enable linear bound propagation, we derive tight linear relaxations for specific nonlinearities in Clarke Jacobian. This formulate unifies existing ad-hoc approaches such as RecurJac, which can be seen as a special case of ours with weaker relaxations. The bound propagation framework also allows us to easily borrow the popular Branch-and-Bound (BaB) approach from neural network verification to further tighten Lipschitz constants. Experiments show that on tiny models, our method produces comparable bounds compared to exact methods that cannot scale to slightly larger models; on larger models, our method efficiently produces tighter results than existing relaxed or naive methods, and our method scales to much larger practical models that previous works could not handle. We also demonstrate an application on provable monotonicity analysis. Code is available at https://github.com/shizhouxing/Local-Lipschitz-Constants.

研究动机与目标

• 解决大规模神经网络中缺乏可扩展且紧致的局部Lipschitz常数计算方法的问题。
• 在有原则的边界传播框架下，统一并推广现有方法（如RecurJac）。
• 使先进验证技术（如分支定界法）得以应用，以进一步收紧边界。
• 将局部Lipschitz计算扩展到实际的大规模模型（包括卷积网络），这些模型此前难以处理。
• 展示紧致局部Lipschitz边界在可证明单调性分析等应用中的实用性。

提出的方法

• 将局部Lipschitz常数计算表述为：通过从链式法则导出的高阶反向计算图，对Clarke雅克比矩阵的$\ell_{\infty}$范数进行上界估计。
• 提出一种具有最优性保证的紧致闭式线性松弛方法，用于Clarke梯度，从而实现在反向图上的高效线性边界传播。
• 应用线性边界传播技术，通过反向图传播边界，将非线性激活梯度视为复合函数，需采用专门的松弛方法。
• 将RecurJac重新解释为所提框架的一个特例，即使用较松的区间边界而非紧致线性松弛。
• 整合神经网络验证中的分支定界（BaB）方法，在计算预算允许时进一步优化边界，实现精度与计算时间之间的可调权衡。
• 利用GPU加速的线性边界传播实现可扩展性，使该方法可应用于大规模实际模型。

实验结果

研究问题

• RQ1 能否将神经网络验证中的线性边界传播技术适配用于计算紧致的局部Lipschitz常数？
• RQ2 如何通过其非线性分量的线性松弛，高效且紧致地界定Clarke雅克比矩阵的范数？
• RQ3 所提框架能否扩展到大型实际深度神经网络（包括卷积架构）？此前精确方法在此类模型上失效。
• RQ4 分支定界法的集成在多大程度上能进一步收紧计算得到的Lipschitz边界？
• RQ5 计算得到的局部Lipschitz常数能否支持新应用，如可证明的单调性分析？

主要发现

• 在小型模型上，该方法产生的边界与基于混合整数规划（MIP）的精确方法相当，后者在更大网络上不可行。
• 在更大模型上，该方法在保持高效率和可扩展性的同时，优于现有松弛法或朴素方法，边界更紧致。
• 该方法成功扩展到大型实际卷积神经网络——此前局部Lipschitz计算技术无法处理的模型。
• 分支定界法的集成进一步收紧了边界，提供了精度与计算时间之间的可调权衡。
• 该方法使神经网络的可证明单调性分析成为可能，展示了其在鲁棒性与泛化之外的实际应用价值。
• 所提出的Clarke梯度线性松弛在紧致性上达到最优，并在使用较松边界时与RecurJac实现精确等价，统一了先前方法。