[论文解读] Explaining and Harnessing Adversarial Examples

Ian Goodfellow, Jonathon Shlens+1 more|arXiv (Cornell University)|Dec 20, 2014

Adversarial Robustness in Machine Learning参考文献 14被引用 8,108

一句话总结

本论文认为对抗样本主要源于高维空间的线性性，提出快速梯度符号法来生成它们，并证明对抗训练作为一种有效的正则化方法，尤其在 MNIST 的 maxout 网络上提升健壮性。

ABSTRACT

Several machine learning models, including neural networks, consistently misclassify adversarial examples---inputs formed by applying small but intentionally worst-case perturbations to examples from the dataset, such that the perturbed input results in the model outputting an incorrect answer with high confidence. Early attempts at explaining this phenomenon focused on nonlinearity and overfitting. We argue instead that the primary cause of neural networks' vulnerability to adversarial perturbation is their linear nature. This explanation is supported by new quantitative results while giving the first explanation of the most intriguing fact about them: their generalization across architectures and training sets. Moreover, this view yields a simple and fast method of generating adversarial examples. Using this approach to provide examples for adversarial training, we reduce the test set error of a maxout network on the MNIST dataset.

研究动机与目标

• 解释为什么神经网络在超出非线性解释的情况下对对抗扰动脆弱。
• 提出一种快速、可扩展的方法来生成对抗样本，并将其用于训练正则化。
• 实证评估不同模型族对对抗扰动和正则化策略的响应。
• 评估对抗样本的跨模型转移性以及集成方法的影响。

提出的方法

• 在最大范数约束下定义对抗扰动，使用输入梯度的符号：eta = epsilon * sign(nabla_x J(theta, x, y)).
• 通过反向传播高效地应用快速梯度符号法来生成对抗样本。
• 提出通过优化混合目标来进行对抗训练：tilde J = alpha J + (1 - alpha) J(x + epsilon sign(grad_x J)).
• 证明对抗训练在正则化方面超越 dropout，提高 MNIST 上 maxout 网络的测试误差。
• 将对抗训练与 L1 权重衰减和随机噪声作为基线进行比较，并讨论在何时对抗训练有益。

实验结果

研究问题

• RQ1 跨模型与架构的对抗样本的根本原因是什么？
• RQ2 是否存在一种快速、可扩展的方法来生成对抗样本，从而在实践中揭示模型弱点？
• RQ3 对抗训练是否在传统方法如 dropout 的基础上提供正则化收益？
• RQ4 不同模型族（线性与非线性、RBF 与深度网络）如何抵抗或屈服于对抗扰动？
• RQ5 对抗样本是否在模型或集成间转移，这对泛化意味着什么？

主要发现

• 对抗样本可以通过高维空间中的线性行为来解释，而不仅仅是非线性。
• 快速梯度符号法可以在多种模型和数据集上可靠地产生错分。
• 使用提出的目标进行对抗训练可以减少对抗样本上的错误，并且可以胜过 dropout 作为正则化（例如 MNIST 上的 maxout）。
• 在 MNIST 上，对抗训练将测试误差从 0.94% 降低到约 0.84%（在一个更大的带 dropout 的 maxout 网络中）；对抗性测试误差在快速梯度攻击下从 89.4% 降至 17.9%。
• 集成对对抗扰动的抗性有限，对抗样本常在模型之间转移，而对抗训练的模型表现出更高的鲁棒性。
• RBF 网络对对抗扰动表现出抵抗力，且在被欺骗的样本上可能表现出低置信度，凸显模型容量与精确召回之间的权衡。