[論文レビュー] Boosting the Transferability of Adversarial Attacks with Global Momentum Initialization

Jiafeng Wang, Zhaoyu Chen+6 more|arXiv (Cornell University)|Nov 21, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、勾配消去を抑制し、前収束段階でのグローバルサーチを可能にすることで、敵対的攻撃の転送性を向上させるGlobal Momentum Initialization (GI)を提案する。主な攻撃の前段階で高ステップサイズの勾配前収束を実行することで、モーメンタム方向の品質が向上し、高度な防御機構に対して平均95.4%の攻撃成功率を達成した。これは、最先端手法よりも6.4%高い結果である。

ABSTRACT

Deep Neural Networks (DNNs) are vulnerable to adversarial examples, which are crafted by adding human-imperceptible perturbations to the benign inputs. Simultaneously, adversarial examples exhibit transferability across models, enabling practical black-box attacks. However, existing methods are still incapable of achieving the desired transfer attack performance. In this work, focusing on gradient optimization and consistency, we analyse the gradient elimination phenomenon as well as the local momentum optimum dilemma. To tackle these challenges, we introduce Global Momentum Initialization (GI), providing global momentum knowledge to mitigate gradient elimination. Specifically, we perform gradient pre-convergence before the attack and a global search during this stage. GI seamlessly integrates with existing transfer methods, significantly improving the success rate of transfer attacks by an average of 6.4% under various advanced defense mechanisms compared to the state-of-the-art method. Ultimately, GI demonstrates strong transferability in both image and video attack domains. Particularly, when attacking advanced defense methods in the image domain, it achieves an average attack success rate of 95.4%. The code is available at $\href{https://github.com/Omenzychen/Global-Momentum-Initialization}{https://github.com/Omenzychen/Global-Momentum-Initialization}$.

研究の動機と目的

• モーメンタムベースの敵対的攻撃が広く使われているにもかかわらず、最適な転送性を達成できない理由を調査すること。
• 勾配の蓄積を用いるモーメンタム最適化における勾配消去現象を同定し、これを是正すること。この現象は、前向きの勾配と後向きの勾配の間に一貫性が欠けることによって生じる。
• 小さなステップサイズによって制限され、限られたデータ分布内での探索にとどまることで生じる局所最適解のジレンマを克服すること。
• 特にブラックボックス設定において、強力な防御機構下での転送攻撃成功率を向上させること。
• 既存の勾配ベース攻撃フレームワークと互換性があり、グローバルサーチとモーメンタム収束品質を向上させる、即挿し可能な手法を開発すること。

提案手法

• 主な攻撃の前段階で、高ステップサイズの更新を用いて勾配の前収束を実行することで、モーメンタム収束を加速するGlobal Momentum Initialization (GI)を導入する。
• 前収束段階においてグローバルサーチ戦略を適用し、広範なデータ分布を探索し、局所最適解を避ける。
• 前収束段階における前向き勾配が後向き勾配と一貫性を保つようにすることで、勾配消去を抑制し、攻撃方向の品質を向上させる。
• MI-FGSM や NI-FGSM などの既存の攻撃手法にGIを統合する際、初期モーメンタム計算を前収束済みのグローバルに情報化されたモーメンタムに置き換える。
• 前収束のステップサイズを拡大するための検索拡大係数Sを用い、初期化段階での損失関数の多様な領域の探索を可能にする。
• CT-FGSMフレームワーク内にGIを統合し、入力変換（例：DIM, TIM, SIM）と組み合わせることで、多様なモデルや防御機構における転送性をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 なぜモーメンタムベースの敵対的攻撃は、勾配蓄積を用いているにもかかわらず、依然として低い転送性を示すのか？
• RQ2 前向きと後向きのパス間の勾配不一致—特に勾配消去—が攻撃性能にどの程度悪影響を及えるのか？
• RQ3 反復的攻撃におけるステップサイズの制限が探索空間を制限し、局所最小値での不適切な収束を引き起こすメカニズムは何か？
• RQ4 高ステップサイズの更新による前収束によって、主な攻撃の前段階でモーメンタム方向の品質が向上し、グローバルサーチ能力が強化されるか？
• RQ5 GIはどの程度一般化可能であり、既存の転送攻撃手法に統合可能で、強力な防御機構下での成功率向上に寄与できるか？

主な発見

• 提案されたGlobal Momentum Initialization (GI)手法により、9つの高度な防御機構に対して平均95.4%の攻撃成功率が達成され、以前のSOTA（89%）を顕著に上回った。
• GIはSOTA手法よりも平均6.4%の攻撃成功率向上を達成し、防御手法に応じて6.4%から9.0%の範囲で向上が見られた。
• アブレーションスタディの結果、P=5イタレーションの前収束とS=10のグローバルサーチ係数が、速度と成功率のバランスを最適化する上で最適であることが確認された。
• 勾配消去が効果的に抑制されていることが、前収束段階における前向きと後向きの勾配間のコサイン類似度の向上によって裏付けられた。
• 初期モーメンタム方向の拡張により、より効果的なグローバルサーチが可能になり、局所最適解に陥る可能性が低減された。
• 本手法は高い互換性を有し、MI-FGSM や NI-FGSM に加え、入力変換を施した変種を含む、多数の既存の勾配ベース攻撃フレームワークに容易に統合可能である。