[论文解读] Limitations of the Lipschitz constant as a defense against adversarial examples

Todd Huster, Cho‐Yu Jason Chiang+1 more|arXiv (Cornell University)|Jul 25, 2018

Adversarial Robustness in Machine Learning参考文献 1被引用 10

一句话总结

本文表明，尽管利普希茨常数在理论上能够提供强大的对抗鲁棒性保证，但当前计算这些常数的方法——尤其是原子法和成对层方法——存在根本性的表征限制，严重制约了其实际有效性。作者证明这些方法无法表达某些1-利普希茨函数，导致边界松散且泛化能力差，并主张开发具有更紧致、更富表达力边界的通用利普希茨网络，以实现更强的认证鲁棒性。

ABSTRACT

Several recent papers have discussed utilizing Lipschitz constants to limit the susceptibility of neural networks to adversarial examples. We analyze recently proposed methods for computing the Lipschitz constant. We show that the Lipschitz constant may indeed enable adversarially robust neural networks. However, the methods currently employed for computing it suffer from theoretical and practical limitations. We argue that addressing this shortcoming is a promising direction for future research into certified adversarial defenses.

研究动机与目标

• 分析现有深度神经网络中计算利普希茨常数方法的理论与实际局限性。
• 证明当前方法——尤其是原子法和成对层法——无法表示某些1-利普希茨函数，导致边界松散。
• 论证这些表征缺陷是实现更强认证对抗鲁棒性的关键瓶颈。
• 提出将开发通用利普希茨网络作为长期研究方向，以克服当前局限。

提出的方法

• 本文使用Lp范数定义k-利普希茨函数，并证明存在一个2/c-利普希茨函数，可保证所有位于其最近同类样本c/2范围内的输入均具有鲁棒性，其中c为不同类样本之间的最小距离。
• 提出原子利普希茨常数方法，通过矩阵范数组合各层的利普希茨常数。
• 提出成对层方法，通过考虑所有激活的ReLU单元组合来计算边界，并使用二次规划方法收紧边界。
• 该方法通过计算所有s ∈ {0,1}^d下||W₂ diag(s) W₁||_∞的最大值，获得比原子方法更紧致的边界。
• 利用两层ReLU网络比较原子与成对层网络族（𝒜_k^p 和 𝒪_k^p）的表达能力。
• 构造反例表明，即使成对层方法也无法对某些1-利普希茨函数实现紧致边界，原因在于对路径贡献的加法性高估。

实验结果

研究问题

• RQ1 现有深度神经网络中计算利普希茨常数的方法能否实现紧致且可泛化的对抗鲁棒性保证？
• RQ2 为何当前基于利普希茨的防御方法尽管理论基础坚实，却仍无法泛化？
• RQ3 原子法与成对层法在表达1-利普希茨函数时存在哪些表征限制？
• RQ4 能否设计出更具表达力的神经网络族，以紧致地边界任意k-利普希茨函数？
• RQ5 需要哪些结构或架构上的改变，才能实现具有紧致、认证鲁棒性的通用利普希茨网络？

主要发现

• 理论分析表明，存在一个2/c-利普希茨函数，可保证所有位于其最近同类样本c/2范围内的输入均具有鲁棒性，其中c为不同类样本之间的最小距离。
• 原子利普希茨方法因对梯度大小的高估，无法表示某些1-利普希茨函数，例如需要非均匀路径贡献的函数。
• 成对层方法在表达能力上优于原子方法，可表示原子方法无法表达的函数，如图2中的ReLU网络。
• 尽管有所改进，成对层方法对振荡或非单调的1-利普希茨函数仍产生松散边界，原因在于对正负路径贡献的加法性高估。
• 本文证明，即使边界足够紧致，模型族的表达能力仍受限制，如图4所示，𝒪_k^∞无法表示某个1-利普希茨函数。
• 作者得出结论：当前方法的问题在于欠拟合而非过拟合，表明表征能力——而非优化——才是关键瓶颈。