[论文解读] Learning with a Strong Adversary

Ruitong Huang, Bing Xu+2 more|arXiv (Cornell University)|Nov 10, 2015

Adversarial Robustness in Machine Learning参考文献 14被引用 263

一句话总结

本文提出了一种名为“与强对抗者共同学习”（Learning with a Strong Adversary, LWA）的新颖训练方法，通过将对抗训练形式化为一个极小化-极大化优化问题，显著提升了深度神经网络的鲁棒性。通过采用更高效的搜索方法生成更强的对抗样本，LWA在MNIST和CIFAR-10数据集上均显著提升了模型鲁棒性，同时保持了较高的标准准确率，优于以往的启发式方法，如Goodfellow的方法和LWA_Rep。

ABSTRACT

The robustness of neural networks to intended perturbations has recently attracted significant attention. In this paper, we propose a new method, \emph{learning with a strong adversary}, that learns robust classifiers from supervised data. The proposed method takes finding adversarial examples as an intermediate step. A new and simple way of finding adversarial examples is presented and experimentally shown to be efficient. Experimental results demonstrate that resulting learning method greatly improves the robustness of the classification models produced.

研究动机与目标

• 为当前在深度学习中以启发式方式使用的对抗训练方法提供正式的理论依据。
• 开发一种更有效的对抗样本生成方法，以提升分类器的鲁棒性。
• 提出对抗训练的极小化-极大化形式化表述，从而内在地生成鲁棒模型，而非依赖启发式正则化。
• 在更强扰动下评估深度网络中的鲁棒性与准确率权衡，特别是在MNIST和CIFAR-10等标准基准数据集上。

提出的方法

• 该方法将对抗训练形式化为一个极小化-极大化优化问题：模型在最小化分类误差的同时，对手通过在有界范数内扰动输入来最大化该误差。
• 提出一种新的高效算法，通过求解基于对偶范数的优化问题，以找到更强的对抗样本，优于Goodfellow等人（2014）所采用的线性近似方法。
• 该方法具有通用性，适用于各种损失函数和扰动类型，不局限于特定架构或范数。
• 通过使用原始数据和表示层扰动生成的对抗样本对网络进行训练，实现该方法，从而使其具备对更强搜索过程生成的对抗样本的鲁棒性。
• 在LeNet和一种VGG风格的网络上评估该框架，并对Dropout和Batch Normalization的影响进行消融研究。
• 将训练过程与基线方法（包括正常训练、Dropout、Goodfellow的方法和LWA_Rep）进行比较，通过不断增加ℓ₂范数扰动来衡量鲁棒性。

实验结果

研究问题

• RQ1 对抗训练的正式极小化-极大化表述是否能比启发式方法带来更鲁棒的深度神经网络？
• RQ2 与现有方法（如Goodfellow的线性近似）相比，所提出的对抗样本生成方法在强度上如何？
• RQ3 使用更强对抗样本进行训练是否能在不牺牲标准准确率的前提下带来更好的鲁棒性？
• RQ4 该方法在不同网络架构（包括含卷积层的深层模型）上是否表现出一致的鲁棒性提升？
• RQ5 在对抗训练中，对表示层扰动与对原始输入层扰动相比，其影响有何不同？

主要发现

• 在MNIST上，LWA在ℓ₂范数为1.5的对抗样本上达到了96.32%的准确率，显著优于Goodfellow的方法（90.35%）和LWA_Rep（50.14%）。
• 在更复杂的LeNet架构上，LWA在保持高标准准确率（99.34%）的同时，在ℓ₂扰动为1.5的情况下实现了96.27%的鲁棒准确率。
• 在CIFAR-10上，使用Batch Normalization的LWA在ℓ₂扰动为0.5时实现了78.5%的鲁棒准确率，优于Goodfellow的方法（75.4%）和LWA_Rep（57.4%）。
• 该方法在MNIST和CIFAR-10上均表现出一致的鲁棒性提升，在测试设置中未观察到准确率与鲁棒性之间的权衡。
• 对表示层进行扰动（LWA_Rep）导致性能较差，原因是深层中扰动被放大，表明该方法存在局限性。
• 所提出的对抗样本搜索方法在实验中表现强于现有方法，使模型能够抵御更严重的扰动。