[論文レビュー] Improving the Transferability of Adversarial Examples with the Adam Optimizer.

Heng Yin, Hengwei Zhang+2 more|arXiv (Cornell University)|Dec 1, 2020

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、Adam最適化アルゴリズムを反復的勾配ベースの adversarial 攻撃手法に統合することで、adversarial 例の転送性を向上させる、Adam反復的高速勾配法（Adam-IFGSM）を提案する。自己適応的学習率とモーメンタムを活用することで、通常訓練された ImageNet モデルではブラックボックス設定で 81.9% の攻撃成功率を達成し、 adversarially 訓練されたモデルでは 38.7% を達成し、既存の反復的手法を上回る性能を示した。

ABSTRACT

Convolutional neural networks have outperformed humans in image recognition tasks, but they remain vulnerable to attacks from adversarial examples. Since these data are produced by adding imperceptible noise to normal images, their existence poses potential security threats to deep learning systems. Sophisticated adversarial examples with strong attack performance can also be used as a tool to evaluate the robustness of a model. However, the success rate of adversarial attacks remains to be further improved in black-box environments. Therefore, this study combines an improved Adam gradient descent algorithm with the iterative gradient-based attack method. The resulting Adam Iterative Fast Gradient Method is then used to improve the transferability of adversarial examples. Extensive experiments on ImageNet showed that the proposed method offers a higher attack success rate than existing iterative methods. Our best black-box attack achieved a success rate of 81.9% on a normally trained network and 38.7% on an adversarially trained network.

研究の動機と目的

• モデル情報が限られたブラックボックス攻撃シナリオにおいて、adversarial 例の転送性を向上させること。
• 既存の反復的勾配ベース手法が異なるモデル間で adversarial 例を転送する際の低成功率を是正すること。
• 勾配更新ダイナミクスの最適化により、標準的および adversarially 訓練されたモデルの両方で攻撃性能を向上させること。
• 自己適応的最適化技術を用いて、より強固で汎用性の高い adversarial 攻撃手法を開発すること。

提案手法

• 反復的高速勾配符号法（IFGSM）に Adam 最適化子を統合し、adversarial 例生成時の勾配更新を精緻化する。
• 自己適応的学習率とモーメンタム項を活用し、adversarial パーティクル空間における収束性と探索性を向上させる。
• Adam の更新則を用いて、方向性と安定性に優れた反復的入力画像の摂動を実行する。
• IFGSM の反復的性質を維持しつつ、標準的な SGD 更新を Adam 基盤の更新に置き換えることで、勾配の有効利用を図る。
• 自己適応統計を用いて摂動の大きさと方向のバランスを取る段階的摂動戦略を採用する。
• 各パラメータごとの学習率を動的に調整することで、摂動の不顕著さと攻撃成功のトレードオフを最適化する。

実験結果

リサーチクエスチョン

• RQ1 反復的勾配ベース攻撃に Adam 最適化子を統合することで、異なるモデル間での adversarial 例の転送性が向上するか？
• RQ2 ImageNet における攻撃成功率の観点から、Adam-IFGSM 法は標準的な IFGSM や他の反復的手法と比べてどのように差をつけるか？
• RQ3 Adam-IFGSM 法は、通常訓練されたモデルと adversarially 訓練されたモデルの両方で高い性能を維持するか、その程度はどの程度か？
• RQ4 攻撃プロセスにおける自己適応的学習率とモーメンタムの使用が、より強固で汎用性の高い adversarial 例を生み出すか？

主な発見

• Adam-IFGSM 法は、ブラックボックス設定下で通常訓練された ImageNet モデルに対して 81.9% の攻撃成功率を達成し、既存の反復的手法を上回った。
• adversarially 訓練されたモデルでは 38.7% の攻撃成功率を達成し、防御訓練に対する改善された耐性を示した。
• Adam の統合により、多様なモデルアーキテクチャ間での adversarial 例の転送性が向上した。
• Adam に内蔵された自己適応的学習率とモーメンタム成分が、摂動生成過程におけるより安定的かつ効果的な勾配更新に寄与した。
• 複数の評価設定において、標準的な IFGSM や他のベースライン反復手法と比較して、本手法は一貫した性能向上を示した。
• 結果から、最適化戦略がブラックボックス環境でさえ adversarial 例の転送性に顕著な影響を与えることが確認された。