[論文レビュー] Discovering Adversarial Examples with Momentum

Yinpeng Dong, Fangzhou Liao+3 more|arXiv (Cornell University)|Oct 17, 2017

Adversarial Robustness in Machine Learning参考文献 17被引用数 63

ひとこと要約

本論文は、勾配更新の安定化と局所最大値からの脱出を可能にするモーメンタムに基づく反復的 adversarial 攻撃手法を提案している。この手法は、ブラックボックス攻撃における転送性と成功確率を顕著に向上させ、NIPS 2017 の非標的および標的 adversarial 攻撃コンテストで第1位を獲得し、最先端の性能を達成した。

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, which poses security concerns on these algorithms due to the potentially severe consequences. Adversarial attacks serve as an important surrogate to evaluate the robustness of deep learning models before they are deployed. However, most of existing adversarial attacks can only fool a black-box model with a low success rate. To address this issue, we propose a broad class of momentum-based iterative algorithms to boost adversarial attacks. By integrating the momentum term into the iterative process for attacks, our methods can stabilize update directions and escape from poor local maxima during the iterations, resulting in more transferable adversarial examples. To further improve the success rates for black-box attacks, we apply momentum iterative algorithms to an ensemble of models, and show that the adversarially trained models with a strong defense ability are also vulnerable to our black-box attacks. We hope that the proposed methods will serve as a benchmark for evaluating the robustness of various deep models and defense methods. With this method, we won the first places in NIPS 2017 Non-targeted Adversarial Attack and Targeted Adversarial Attack competitions.

研究の動機と目的

• ブラックボックスモデルにおける既存の adversarial 攻撃の低成功率を是正すること。
• 異なるモデル間での adversarial 例の転送性を向上させること。
• ディープラーニングモデルの頑健性を評価するための強固なベンチマークを開発すること。
• 顕著に強化された adversarial 訓練を施したモデルですら、提案手法の攻撃に対して脆弱であることを示すこと。

提案手法

• 勾配更新の安定化と滑らかさを向上させるために、反復的 adversarial 攻撃プロセスにモーメンタム項を統合する。
• 過去の勾配のランニング平均をモーメンタムで用いて、摂動方向をガイドし、局所最大値を避ける。
• ブラックボックス環境における転送性を向上させるために、複数モデルのアンサンブルにモーメンタムベースの攻撃を適用する。
• 反復的最適化にモーメンタムを用いて、多様なアーキテクチャに一般化可能な adversarial 例を生成する。
• 攻撃プロセス中の収束性と頑健性を向上させるために、モーメンタム項を活用する。
• モーメンタム法とアンサンブルベースの攻撃を組み合わせ、未知のモデル間での転送成功率を最大化する。

実験結果

リサーチクエスチョン

• RQ1 モーメンタムはブラックボックス環境における adversarial 攻撃の成功率を向上させ得るか？
• RQ2 モーメンタムに基づく反復的手法は、adversarial 例の転送性を向上させるか？
• RQ3 adversarially 訓練されたモデルは、モーメンタムベースの攻撃に対しても依然として脆弱であるか？
• RQ4 アンサンブルベースのモーメンタム攻撃は、単一モデル攻撃に比べて転送性で優れているか？
• RQ5 収束性と転送性の観点から、モーメンタム法は既存の反復的攻撃手法に比べて優れているか？

主な発見

• モーメンタムに基づく攻撃手法は、非モーメンタムベースラインに比べ、ブラックボックス環境における adversarial 攻撃の成功率を顕著に向上させた。
• 本手法は最先端の性能を達成し、NIPS 2017 の非標的および標的 adversarial 攻撃コンテストの両方で第1位を獲得した。
• モーメンタム手法で生成された adversarial 例は、多様なモデル間で高い転送性を示した。
• 強力な adversarial 防御メカニズムを備えたモデルですら、提案されたモーメンタムベースの攻撃に対して脆弱であることが判明した。
• モーメンタムの統合により、攻撃の軌道が安定化し、振動が低減され、より信頼性が高く一貫性のある摂動が得られた。
• アンサンブルベースのモーメンタム攻撃は、さらに転送成功率を向上させ、本手法の実世界のブラックボックスシナリオにおける有効性を示した。