[论文解读] Semialgebraic Optimization for Lipschitz Constants of ReLU Networks

Tong Chen, Jean B. Lasserre+2 more|arXiv (Cornell University)|Feb 10, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用 17

一句话总结

该论文提出了一种基于多项式提升和弱Putinar型正定性证书的半定规划（SDP）层次方法，用于计算深度ReLU网络的全局和局部Lipschitz常数的更紧上界。该方法在许多情况下，特别是在鲁棒性认证和Wasserstein GAN应用中，相较于最先进线性规划方法，在边界质量与计算效率方面均表现更优。

ABSTRACT

The Lipschitz constant of a network plays an important role in many applications of deep learning, such as robustness certification and Wasserstein Generative Adversarial Network. We introduce a semidefinite programming hierarchy to estimate the global and local Lipschitz constant of a multiple layer deep neural network. The novelty is to combine a polynomial lifting for ReLU functions derivatives with a weak generalization of Putinar's positivity certificate. This idea could also apply to other, nearly sparse, polynomial optimization problems in machine learning. We empirically demonstrate that our method provides a trade-off with respect to state of the art linear programming approach, and in some cases we obtain better bounds in less time.

研究动机与目标

• 开发一种计算高效的深度ReLU网络全局与局部Lipschitz常数估计方法。
• 通过提供更紧的Lipschitz常数上界，改进现有的线性规划与Shor松弛方法。
• 通过多项式优化中的半代数表示，实现对ReLU函数及其广义导数的精确处理。
• 通过更精确的Lipschitz边界支持鲁棒性认证与Wasserstein GAN训练。
• 将矩松弛技术的适用范围扩展至深度学习中出现的近稀疏多项式优化问题。

提出的方法

• 使用多项式不等式将ReLU函数及其广义导数表示为基本闭半代数集。
• 应用多项式提升技术，将ReLU及其导数在更高维空间中表示，实现精确的半代数公式化。
• 采用Putinar正定性证书的弱推广形式，构建多项式优化问题（POP）的收敛半定规划层次。
• 将Lipschitz常数估计建模为凸二次约束二次规划（QCQP），再通过所提出的SDP层次进行松弛。
• 结合密集与稀疏的Lasserre型矩松弛方法，以平衡计算效率与边界紧致性。
• 该框架被应用于MNIST分类任务中，计算局部Lipschitz常数以支持鲁棒性认证。

实验结果

研究问题

• RQ1 基于半代数提升的半定规划层次方法是否能提供比现有线性规划或Shor松弛方法更紧的Lipschitz边界？
• RQ2 所提出方法在估计ReLU网络中用于鲁棒性认证的局部Lipschitz常数方面表现如何？
• RQ3 弱Putinar型证书在具有ReLU激活的多项式优化问题中，能在多大程度上近似全局最优解？
• RQ4 该方法能否在不引入显著计算开销的前提下，高效应用于深度学习中出现的近稀疏多项式优化问题？
• RQ5 ReLU及其广义导数的精确半代数表示是否能在实际中提升鲁棒性认证率？

主要发现

• 所提出的基于SDP的方法在许多情况下实现优于或与最先进线性规划方法相当的边界，且收敛速度更快。
• 对于SDP-NN网络在MNIST上的测试，该方法在ε = 0.1时成功认证67.63%的测试样本为鲁棒，优于Grad-cert（65%），虽差距微小但具有显著意义。
• 在多个基准测试案例中，该方法提供的边界紧致性优于Shor松弛法与文献[21]中的LP方法。
• 对ReLU及其广义导数采用精确半代数提升，实现了精确的公式化与更优的数值稳定性。
• 即使在深层网络中出现高次多项式时，启发式矩松弛方法依然有效，尤其在结合提升或子矩技术时表现更佳。
• 该方法在鲁棒性认证与Wasserstein GAN训练中展现出实际可行性，其中精确的Lipschitz控制至关重要。