[論文レビュー] Sampling-based Fast Gradient Rescaling Method for Highly Transferable Adversarial Attacks

Xu Han, Anmin Liu+3 more|arXiv (Cornell University)|Jul 6, 2023

Adversarial Robustness in Machine LearningComputer Science被引用数 3

ひとこと要約

本稿では、勾配ベースの敵対的攻撃における符号関数を、データリスケーリング手法と深さ優先サンプリング戦略に置き換えることで、勾配近似の精度を向上させ、敵対的移行性を向上させるサンプリングに基づく高速勾配スケーリング法（S-FGRM）を提案する。この手法は、計算コストを最小限に抑えつつImageNet上で最先端のベースラインを著しく上回り、ブラックボックス攻撃の成功率が顕著に向上する。

ABSTRACT

Deep neural networks are known to be vulnerable to adversarial examples crafted by adding human-imperceptible perturbations to the benign input. After achieving nearly 100% attack success rates in white-box setting, more focus is shifted to black-box attacks, of which the transferability of adversarial examples has gained significant attention. In either case, the common gradient-based methods generally use the sign function to generate perturbations on the gradient update, that offers a roughly correct direction and has gained great success. But little work pays attention to its possible limitation. In this work, we observe that the deviation between the original gradient and the generated noise may lead to inaccurate gradient update estimation and suboptimal solutions for adversarial transferability. To this end, we propose a Sampling-based Fast Gradient Rescaling Method (S-FGRM). Specifically, we use data rescaling to substitute the sign function without extra computational cost. We further propose a Depth First Sampling method to eliminate the fluctuation of rescaling and stabilize the gradient update. Our method could be used in any gradient-based attacks and is extensible to be integrated with various input transformation or ensemble methods to further improve the adversarial transferability. Extensive experiments on the standard ImageNet dataset show that our method could significantly boost the transferability of gradient-based attacks and outperform the state-of-the-art baselines.

研究の動機と目的

• 勾配ベースの敵対的攻撃における符号関数の限界を解決すること。符号関数は真の勾配を粗く近似しており、最適化パスを誤導する可能性がある。
• 勾配の大きさの相対的差を保持するデータリスケーリング手法に符号関数を置き換えることで、勾配更新方向の推定精度を向上させること。
• 新規の深さ優先サンプリング戦略により局所的フラクチュエーション誤差を排除し、勾配更新を安定化させること。
• 任意の勾配ベース攻撃と互換性があり、入力変換やモデルアンサンブルへの拡張が可能で、さらなる移行性向上が見込める汎用手法を開発すること。

提案手法

• 標準的なFGSM風攻撃における符号関数を、勾配値の分布に基づき[-1, 1]にマップするデータリスケーリング関数に置き換える。これにより、相対的な大きさの差が保持される。
• 勾配成分を深さ優先走査順序で選択する深さ優先サンプリング（DFS）手法を導入し、局所的フラクチュエーションを低減し、更新方向を安定化させる。
• 摂動生成の前にリスケーリング関数を勾配に適用することで、より正確で一貫性のある勾配方向推定を実現する。
• S-FGRMをMI-FGSM や NI-FGSM などの既存攻撃に統合し、入力変換やアンサンブル手法と組み合わせて使用可能にする。
• リスケーリング関数に可変パラメータ（c）を導入し、スケーリング強度を制御する。アブレーションスタディにより、c=2で最適な性能が得られると判明した。
• 計算効率を維持し、1イテレーションあたりO(S)の時間計算量（Staircaseなどのソートベース手法のO(S log S)と比較）を達成する。

実験結果

リサーチクエスチョン

• RQ1 符号関数をデータリスケーリング手法に置き換えることで、勾配近似の精度が向上し、敵対的移行性が向上するか？
• RQ2 深さ優先サンプリング戦略は、勾配更新における局所的フラクチュエーションを効果的に低減し、最適化パスを安定化させることができるか？
• RQ3 S-FGRMは、Staircase（S²M）などの最先端手法と比較して、攻撃成功確率と計算効率の面で優れているか？
• RQ4 入力変換やモデルアンサンブルと組み合わせた場合、S-FGRMはどの程度一般化可能で拡張可能か？
• RQ5 提案手法は勾配ベース攻撃における過学習を緩和し、ブラックボックス設定での性能を向上させるか？

主な発見

• S-FGRMはImageNet上で顕著に移行性を向上させ、入力変換を施した単一モデル設定において、Inc-v3で99.3%、Inc-v4で86.2%の攻撃成功確率を達成した。
• MI-FGSM や NI-FGSM のベースラインを上回り、SMI-CT-FGSM はInc-v3で99.3%、Inc-v4で86.2%を達成し、sgMI-CT-FGSM より0.1–0.3%高い性能を示した。
• DFSサンプリングは、基準手法よりも少ないサンプル数（N=12）で優れた移行性を達成し、その効率性と安定性を示した。
• S-FGRMはStaircase手法（S²M）と同等の性能を達成したが、1イテレーションあたりの計算コストがO(S)（S²MのO(S log S)と比較）であり、スケーラビリティに優れた。
• アンサンブル攻撃に統合した場合、Inc-v3、Inc-v4、IncRes-v2、Res-101など複数のターゲットモデルにおいて、常にベースラインを上回る性能を示した。
• アブレーションスタディにより、リスケーリングとDFSサンプリングが併用されることで過学習が低減され、最適化の安定性が向上し、ブラックボックス攻撃の成功率が向上することが確認された。