[论文解读] DeepFool: a simple and accurate method to fool deep neural networks

Seyed-Mohsen Moosavi-Dezfooli, Alhussein Fawzi+1 more|arXiv (Cornell University)|Nov 14, 2015

Adversarial Robustness in Machine Learning参考文献 18被引用 118

一句话总结

DeepFool 提出了一种迭代的、基于梯度的算法，用于以高精度和高效率计算使深度神经网络失效的最小对抗扰动。通过使用局部线性近似，迭代地将输入投影至决策边界，该方法在生成更小、更可靠的扰动方面优于先前的方法（如快速梯度符号法），从而实现了更优的鲁棒性评估和对抗训练数据增强，提升了分类器的鲁棒性。

ABSTRACT

State-of-the-art deep neural networks have achieved impressive results on many image classification tasks. However, these same architectures have been shown to be unstable to small, well sought, perturbations of the images. Despite the importance of this phenomenon, no effective methods have been proposed to accurately compute the robustness of state-of-the-art deep classifiers to such perturbations on large-scale datasets. In this paper, we fill this gap and propose the DeepFool algorithm to efficiently compute perturbations that fool deep networks, and thus reliably quantify the robustness of these classifiers. Extensive experimental results show that our approach outperforms recent methods in the task of computing adversarial perturbations and making classifiers more robust.

研究动机与目标

• 为解决大规模深度学习模型中对抗扰动计算缺乏准确且高效方法的问题。
• 为衡量最先进分类器对微小、难以察觉扰动的鲁棒性提供可靠的基准。
• 研究精确估计最小扰动对对抗训练和模型泛化能力的影响。
• 证明不准确的扰动估计可能导致关于模型鲁棒性的误导性结论。
• 通过准确的对抗数据增强，推动更鲁棒分类器的开发。

提出的方法

• DeepFool 使用一种迭代算法，通过使用分类器的局部线性近似，将输入图像投影至决策边界。
• 在每次迭代中，计算真实类别与最高错误类别之间边际增大的最陡方向。
• 扰动更新为 r ← r + α · (g / ||g||)，其中 g 是分类器输出相对于输入的梯度。
• 当预测结果发生变化时，算法停止，确保找到最小的 ℓ₂-范数扰动。
• 该方法利用决策边界在局部近似为线性的事实，从而实现对最小对抗样本的高效且精确的近似。
• 该方法迭代应用，直到分类器的预测类别发生变化，从而保证收敛至最小扰动。

实验结果

研究问题

• RQ1 能否开发出一种更准确且高效的算法，用于计算深度神经网络的最小对抗扰动？
• RQ2 对抗扰动估计的精确度在多大程度上影响分类器的鲁棒性评估？
• RQ3 与粗略近似相比，使用最小对抗样本进行微调是否能提升模型的鲁棒性？
• RQ4 不准确的扰动方法在多大程度上会导致关于对抗鲁棒性的误导性结论？
• RQ5 最小扰动能否有效用于通过对抗训练提升泛化能力？

主要发现

• DeepFool 计算的对抗扰动 ℓ₂-范数显著小于快速梯度符号法，在 LeNet（MNIST）上测试误差为 0.8%，而快速梯度方法为 4.4%。
• 使用 DeepFool 生成的对抗样本进行微调可提升鲁棒性，在 FC500-150-10（MNIST）上将测试误差降低至 1.5%，而快速梯度符号法微调反而使误差上升至 4.9%。
• 在微调过程中将 DeepFool 扰动放大三倍会降低鲁棒性，证实过度扰动的样本会损害模型性能。
• 使用如快速梯度符号法等不精确的扰动方法可能导致关于鲁棒性的误导性结论，如图 9 中的红色曲线所示，其高估了鲁棒性提升效果。
• 该方法为鲁棒性评估提供了可靠工具，NIN 在 CIFAR-10 上使用 DeepFool 的对抗误差为 11.2%，而使用快速梯度符号法则为 21.2%。
• DeepFool 准确的扰动估计有助于更深入理解对抗不稳定性，并支持设计更具鲁棒性的分类器。