[論文レビュー] Boosting Adversarial Transferability through Enhanced Momentum

Xiaosen Wang, Jiadong Lin+3 more|arXiv (Cornell University)|Mar 19, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用数 27

ひとこと要約

著者らは EMI-FGSM を提案する。これは現在点の周りの勾配もサンプリングして転送性を向上させる拡張モーメント反復 FGSM であり、従来のモーメントベース手法に対して大きな利得を得、入力変換とアンサンブル攻撃で強力な性能を発揮する。

ABSTRACT

Deep learning models are known to be vulnerable to adversarial examples crafted by adding human-imperceptible perturbations on benign images. Many existing adversarial attack methods have achieved great white-box attack performance, but exhibit low transferability when attacking other models. Various momentum iterative gradient-based methods are shown to be effective to improve the adversarial transferability. In what follows, we propose an enhanced momentum iterative gradient-based method to further enhance the adversarial transferability. Specifically, instead of only accumulating the gradient during the iterative process, we additionally accumulate the average gradient of the data points sampled in the gradient direction of the previous iteration so as to stabilize the update direction and escape from poor local maxima. Extensive experiments on the standard ImageNet dataset demonstrate that our method could improve the adversarial transferability of momentum-based methods by a large margin of 11.1% on average. Moreover, by incorporating with various input transformation methods, the adversarial transferability could be further improved significantly. We also attack several extra advanced defense models under the ensemble-model setting, and the enhancements are remarkable with at least 7.8% on average.

研究の動機と目的

• 未見のモデルに対するホワイトボックス型 adversarial 攻撃の転送性が限定的である点を動機づけ、対処する。
• 更新を安定化させるため、近傍サンプルから勾配を集約する拡張モーメントベースの攻撃を開発する。
• 入力変換とアンサンブルモデル戦略と組み合わせて転送性を高めるよう、拡張モーメントを統合する。
• ImageNet 上での有効性を実証し、高度な防御モデルに対しても検討し、パラメータ選択を分析する。

提案手法

• EMI-FGSM を導入し、イテレーションを通じて勾配を蓄積するとともに、前のイテレーションの勾配方向にある N 個の近傍データ点からの勾配も集約する。
• bar{x}_t^{adv}[i] = x_t^{adv} + c_i * bar{g}_{t-1} を定義し、bar{g}_t をこれら bar{x}_t^{adv}[i] における勾配の平均として計算する。
• モーメントを g_t = mu * g_{t-1} + bar{g}_t / ||bar{g}_t||_1 に更新し、x_{t+1}^{adv} = x_t^{adv} + alpha * sign(g_t) を適用する。
• 入力変換のエンサンブル（DIM、TIM、SIM、そしてそれらの組み合わせ DTS）と EMI-FGSM を組み合わせた EMI-DTS を提案する。
• 線形、一様、ガウスなどのサンプリング戦略を検討し、サンプリング間隔 eta やサンプル数 N などのパラメータをアブレーションする。

実験結果

リサーチクエスチョン

• RQ1 既存のモーメントベース手法を超えて、勾配ベースの敵対的攻撃をモデル間でどのようにより転送可能にできるか？
• RQ2 前のイテレーションの勾配方向における近傍データ点を複数サンプルすることは転送性を改善するのか？
• RQ3 EMI-FGSM を入力変換とアンサンブルモデル攻撃と効果的に統合して、防御に対するブラックボックス性能を向上させることができるか？

主な発見

• EMI-FGSM は white-box および black-box の設定の双方で MI-FGSM および NI-FGSM より優れており、NI-FGSM に対する平均転送性の利得は約 11.1% である。
• EMI-FGSM は入力変換（DIM、TIM、SIM）とアンサンブルモデル攻撃を組み合わせた場合に大幅な転送性の利得を生み、白箱・黒箱の性能も高い。
• EMI-DTS はアンサンブルモデル設定下で seven advanced defense models に対して平均攻撃成功率 86.6% を達成し、従来手法を 7.8% 改善。
• PI-FGSM と比較して、EMI-FGSM は通常訓練モデルで 10.5–12.5%、敵対的訓練モデルで 4.4–5.4% の明確な転送性向上を提供する。
• アブレーション研究では線形サンプリングがわずかに最良であることを示し、典型的な設定として N=11 サンプルと eta=7 が含まれる。