[论文解读] Improved Adversarial Robustness via Logit Regularization Methods

Cecilia Summers, Michael J. Dinneen|arXiv (Cornell University)|Jun 10, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用 7

一句话总结

本文提出了一种对数几率正则化方法，作为提升深度神经网络对抗鲁棒性的强大且低成本的防御手段。通过分析并增强对抗性对数几率配对（adversarial logit pairing），作者表明，对数几率正则化——尤其是通过标签平滑——能有效提升对白盒和黑盒攻击的鲁棒性，在CIFAR-10上优于当前最先进方法，且计算开销极低。

ABSTRACT

While great progress has been made at making neural networks effective across a wide range of visual tasks, most models are surprisingly vulnerable. This frailness takes the form of small, carefully chosen perturbations of their input, known as adversarial examples, which represent a security threat for learned vision models in the wild -- a threat which should be responsibly defended against in safety-critical applications of computer vision. In this paper, we advocate for and experimentally investigate the use of a family of logit regularization techniques as an adversarial defense, which can be used in conjunction with other methods for creating adversarial robustness at little to no marginal cost. We also demonstrate that much of the effectiveness of one recent adversarial defense mechanism can in fact be attributed to logit regularization, and show how to improve its defense against both white-box and black-box attacks, in the process creating a stronger black-box attack against PGD-based models. We validate our methods on three datasets and include results on both gradient-free attacks and strong gradient-based iterative attacks with as many as 1,000 steps.

研究动机与目标

• 探究对抗性对数几率配对（ALP）这一最先进防御方法的内在机制。
• 确定对数几率正则化是否在ALP的鲁棒性中起到显著作用，而不仅仅是对数几率配对的贡献。
• 探索可提升对抗鲁棒性的替代对数几率正则化技术，且无需对抗训练。
• 提出一种改进版的ALP，能清晰分离对数几率正则化与对数几率配对，以获得更优性能。
• 评估对数几率正则化作为黑盒防御手段在应对强攻击（如SPSA和1,000步PGD）时的有效性。

提出的方法

• 作者分析ALP并证明其约一半的鲁棒性增益源于对零的对数几率正则化，而不仅仅是对数几率配对。
• 他们引入两种替代的对数几率正则化方法：标签平滑和对对数几率的L2正则化。
• 他们提出一种改进的ALP公式，将对数几率配对与正则化解耦，从而提升训练稳定性和鲁棒性。
• 在CIFAR-10、CIFAR-100和SVHN上评估了方法，使用强攻击（包括1,000步PGD和无梯度SPSA）。
• 实验在白盒和黑盒设置下，对比了标准对抗训练、ALP、标签平滑和所提出的对数几率正则化方法（LRM）。
• 作者采用与先前工作（如[16]、[28]）相同的评估协议，以确保公平比较和可复现性。

实验结果

研究问题

• RQ1 对数几率正则化在多大程度上促成了对抗性对数几率配对（ALP）的鲁棒性？
• RQ2 是否可通过替代的对数几率正则化技术（如标签平滑）在无需对抗训练的情况下实现强对抗鲁棒性？
• RQ3 在ALP中将对数几率正则化与对数几率配对解耦，是否能带来性能与鲁棒性的提升？
• RQ4 对数几率正则化作为黑盒防御手段，在应对SPSA和高步数PGD等强攻击时效果如何？
• RQ5 为何尽管标签平滑是一种简单技术，却在黑盒攻击中表现出出人意料的鲁棒性？

主要发现

• 在仅使用干净数据训练的情况下，标签平滑在CIFAR-10上对10步PGD攻击实现了40.9%的鲁棒准确率，优于标准对抗训练。
• 所提出的对数几率正则化方法（LRM）在CIFAR-10上对1,000步PGD攻击实现了51.1%的鲁棒准确率，优于ALP和标准对抗训练。
• 在1,000步PGD攻击下，LRM在白盒设置中相比ALP提升了3.6个百分点，相比标准对抗训练提升了5.8个百分点。
• 标签平滑在黑盒SPSA攻击下仍具有效性，保持8.9%的鲁棒准确率，而标准对抗训练则降至0.0%。
• 1,000步PGD攻击揭示，标签平滑在高度优化的白盒攻击下会减弱，鲁棒准确率降至7.2%。
• 本研究证实，对数几率正则化是ALP成功的关键驱动因素，约占其相比标准对抗训练所获得鲁棒性增益的一半。