[论文解读] Lipschitz constant estimation of Neural Networks via sparse polynomial optimization

Fabian Latorre, Paul Rolland+1 more|arXiv (Cornell University)|Apr 18, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用 53

一句话总结

LiPopt 通过松弛到多项式优化并求解一系列利用网络稀疏性的 LP，获得对神经网络 Lipschitz 常数的更紧上界，在 MNIST 和随机网络的 l_infty 范数方面优于基线（包括一些 SDP 方法）。

ABSTRACT

We introduce LiPopt, a polynomial optimization framework for computing increasingly tighter upper bounds on the Lipschitz constant of neural networks. The underlying optimization problems boil down to either linear (LP) or semidefinite (SDP) programming. We show how to use the sparse connectivity of a network, to significantly reduce the complexity of computation. This is specially useful for convolutional as well as pruned neural networks. We conduct experiments on networks with random weights as well as networks trained on MNIST, showing that in the particular case of the $\\ell_\\infty$-Lipschitz constant, our approach yields superior estimates, compared to baselines available in the literature.

研究动机与目标

• 在神经网络的鲁棒性和泛化分析中，证明对 Lipschitz 常数的上界需求的必要性。
• 将 LiPopt 作为一个多项式优化框架，通过对 LP/SDP 的放松来上界 Lipschitz 常数。
• 利用网络稀疏性来降低复杂性，使之能扩展到卷积/裁剪后的网络结构。
• 在随机网络和在 MNIST 上训练的网络上评估方法，聚焦于 l_infty 范数。
• 提供一个可扩展、可调节的计算与界限紧密度之间的权衡。

提出的方法

• 将 L(f_d) 表述为梯度范数的上确界，进而得到一个关于导数变量 s_i = sigma'(f_i(x)) 的多项式优化问题（POP）。
• 对 l_infty 范数进行专门化，通过将对偶变量 t 的界限设定为 -1 <= t_i <= 1，将目标改写为一个多项式（范数梯度多项式 p）。
• 应用 Krivine 的 Positivstellensatz，获得一系列线性规划（LP），通过正性证据提供对 L(f_d) 的上界，具有次数 k 的推进（theta_k）。
• 通过一个有效的稀疏性模式和稀疏 Krivine 证书引入稀疏性，利用网络连接性和计算图 G_d 来降低 LP 的规模。
• 提供一个替代的 QCQP/SDP 松弛（Shor 的松弛）作为相关界限，指出在某些情况下它更松且可扩展性较差。
• 算法 1 LiPopt 针对 ELU 激活和稀疏模式，描述了计算范数梯度多项式、构建稀疏正性证书，并求解 LP 以获得界限。

实验结果

研究问题

• RQ1 我们能否通过多项式优化放松来对神经网络的 Lipschitz 常数进行上界？
• RQ2 通过利用网络稀疏性，是否能相对于密集形式或基于 SDP 的方法得到可扩展且更紧的上界？
• RQ3 基于像 MNIST 和随机网络这样的标准基准，LP 基界限（LipOpt-k）与 SDP 界限和简单的逐层界限相比如何？
• RQ4 在局部输入区域下使用局部（实例特定） Lipschitz 常数界限，对紧密性有何影响？

主要发现

• LiPopt 产生一系列基于 LP 的界限，随着层次度提高，在 l_infty Lipschitz 常数方面可能比现有基于 SDP 的界限更紧。
• 通过稀疏 Krivine 证书利用稀疏性显著降低 LP 的规模和计算时间，使得对更深或卷积/裁剪网络的界限更紧。
• 在 MNIST 训练的网络和随机网络上，LipOpt-k 当 k > depth 时，通常优于相应的 SDP 松弛，在界限紧密性和对稀疏性的扩展性方面表现更好。
• 在一个输入球内的局部 Lipschitz 常数估计可以产生较松的全局界限，但可在数据点周围提供更紧的证书，表明对鲁棒性认证有益。
• 与 UBP（逐层界限）相比，LipOpt-k 在报道的实验中提供了显著更紧的上界。
• 该方法适用于带界定导数的通用激活函数（如 ELU、softplus），并聚焦于 l_infty 范数，因为它与鲁棒性相关。