[论文解读] Discovering Adversarial Examples with Momentum

Yinpeng Dong, Fangzhou Liao+3 more|arXiv (Cornell University)|Oct 17, 2017

Adversarial Robustness in Machine Learning参考文献 17被引用 63

一句话总结

本文提出了一种基于动量的迭代对抗攻击方法，通过稳定梯度更新并逃离局部极大值，显著提升了黑盒攻击中的迁移性和成功率。该方法实现了最先进性能，在NIPS 2017年非目标导向与目标导向对抗攻击竞赛中均获得第一名。

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, which poses security concerns on these algorithms due to the potentially severe consequences. Adversarial attacks serve as an important surrogate to evaluate the robustness of deep learning models before they are deployed. However, most of existing adversarial attacks can only fool a black-box model with a low success rate. To address this issue, we propose a broad class of momentum-based iterative algorithms to boost adversarial attacks. By integrating the momentum term into the iterative process for attacks, our methods can stabilize update directions and escape from poor local maxima during the iterations, resulting in more transferable adversarial examples. To further improve the success rates for black-box attacks, we apply momentum iterative algorithms to an ensemble of models, and show that the adversarially trained models with a strong defense ability are also vulnerable to our black-box attacks. We hope that the proposed methods will serve as a benchmark for evaluating the robustness of various deep models and defense methods. With this method, we won the first places in NIPS 2017 Non-targeted Adversarial Attack and Targeted Adversarial Attack competitions.

研究动机与目标

• 解决现有对抗攻击在黑盒模型上成功率低的问题。
• 提升对抗样本在不同模型间的迁移能力。
• 构建一个评估深度学习模型鲁棒性的稳健基准。
• 证明即使经过对抗训练的模型，对所提出的攻击方法仍存在漏洞。

提出的方法

• 在迭代对抗攻击过程中引入动量项，以稳定并平滑梯度更新。
• 使用过去梯度的运行平均值结合动量，引导扰动方向，避免陷入局部极大值。
• 将基于动量的攻击应用于模型集成，以在黑盒环境中增强迁移能力。
• 采用带动量的迭代优化方法，生成可在多种架构间泛化的对抗样本。
• 利用动量项提升攻击过程中的收敛性与鲁棒性。
• 将动量方法与基于集成的攻击相结合，以最大化在未知模型上的迁移成功率。

实验结果

研究问题

• RQ1 动量能否提升黑盒环境中对抗攻击的成功率？
• RQ2 基于动量的迭代方法是否能增强对抗样本的迁移能力？
• RQ3 经过对抗训练的模型是否仍对基于动量的攻击存在漏洞？
• RQ4 基于集成的动量攻击是否在迁移能力上优于单模型攻击？
• RQ5 与现有迭代攻击方法相比，该动量方法在鲁棒性与迁移能力方面表现如何？

主要发现

• 与非动量基线相比，基于动量的攻击方法显著提高了黑盒对抗攻击的成功率。
• 该方法实现了最先进性能，在NIPS 2017年非目标导向与目标导向对抗攻击竞赛中均获得第一名。
• 使用动量方法生成的对抗样本在多种模型间展现出更高的迁移能力。
• 即使经过强对抗防御机制训练的模型，对所提出的基于动量的攻击仍存在漏洞。
• 动量的引入稳定了攻击轨迹，减少了振荡，从而产生更可靠且一致的扰动。
• 基于集成的动量攻击进一步提升了迁移成功率，证明了该方法在真实黑盒场景中的有效性。