[論文レビュー] Going Far Boosts Attack Transferability, but Do Not Do It.

Sizhe Chen, Qinghua Tao+2 more|arXiv (Cornell University)|Feb 20, 2021

Adversarial Robustness in Machine Learning参考文献 30被引用数 5

ひとこと要約

本論文は、最適化アルゴリズムが深層ニューラルネットワークにおける adversarial attack の転送性に与える影響を調査し、転送性が元の入力からの Root Mean Square Error (RMSE) 減少と強く相関していることを発見した。これを活用するために、著者らは LARA（Large RMSE Attack）を提案する。LARA は RMSE の最小化を標的とすることで、転送性を 20% 向上させ、ℓ∞ と RMSE の両方を攻撃強度を公正に評価するための必須指標とすべきだと主張する。

ABSTRACT

Deep Neural Networks (DNNs) could be easily fooled by Adversarial Examples (AEs) with an imperceptible difference to original ones in human eyes. Also, the AEs from attacking one surrogate DNN tend to cheat other black-box DNNs as well, i.e., the attack transferability. Existing works reveal that adopting certain optimization algorithms in attack improves transferability, but the underlying reasons have not been thoroughly studied. In this paper, we investigate the impacts of optimization on attack transferability by comprehensive experiments concerning 7 optimization algorithms, 4 surrogates, and 9 black-box models. Through the thorough empirical analysis from three perspectives, we surprisingly find that the varied transferability of AEs from optimization algorithms is strongly related to the corresponding Root Mean Square Error (RMSE) from their original samples. On such a basis, one could simply approach high transferability by attacking until RMSE decreases, which motives us to propose a LArge RMSE Attack (LARA). Although LARA significantly improves transferability by 20%, it is insufficient to exploit the vulnerability of DNNs, leading to a natural urge that the strength of all attacks should be measured by both the widely used $\ell_\infty$ bound and the RMSE addressed in this paper, so that tricky enhancement of transferability would be avoided.

研究の動機と目的

• 異なる最適化アルゴリズムにおける adversarial attack の転送性の差異の背後要因を理解すること。
• 元の入力からの RMSE を低減する最適化戦略が、ブラックボックスモデルへの転送性と相関しているかどうかを調査すること。
• 従来の ℓ∞ 範囲に依存しないで、RMSE の最小化を活用してより高い転送性を達成する新しい攻撃手法を提案すること。
• adversarial attack の強度を公正に評価するため、RMSE を ℓ∞ と併せて標準指標として導入すべきだと主張すること。

提案手法

• 著者らは、7 種類の最適化アルゴリズム、4 種類のサーヴィレートモデル、9 種類のブラックボックスターゲットモデルを用いて、攻撃の転送性を評価する包括的な実験を実施した。
• すべての攻撃において、元の入力と adversarial な入力との間の RMSE を測定し、それが転送性とどのように相関するかを分析した。
• RMSE 減少と改善された転送性との強い相関が観察されたのを受けて、攻撃プロセス中に RMSE 減少を明示的に最大化する LARA（Large RMSE Attack）を設計した。
• LARA は最適化の目的関数を変更し、従来の ℓ∞ 制約よりも RMSE の最小化を優先することで、より転送性の高い adversarial パーティクルを生成できるようにした。
• 複数のモデルアーキテクチャとデータセットを対象として評価することで、研究結果の一般化を確認した。
• 著者らは二重指標評価フレームワークを提案し、攻撃ベンチマークの公平性を確保するため、ℓ∞ ノルムと RMSE の両方を報告するよう要請した。

実験結果

リサーチクエスチョン

• RQ1 最適化アルゴリズムの選択が、異なるブラックボックスモデルにおける adversarial 例の転送性にどのように影響するか？
• RQ2 元の入力と adversarial 入力との間の Root Mean Square Error (RMSE) が、adversarial 攻撃の転送性とどの程度相関しているか？
• RQ3 RMSE 減少を明示的に標的にすることで、より高い転送性を達成する新しい攻撃戦略を設計できるか？
• RQ4 なぜ高い RMSE 減少がより良い転送性をもたらすのか、そして攻撃強度の評価に与えるインパクトは何か？
• RQ5 adversarial な頑健性評価において、RMSE を ℓ∞ と共に標準指標として採用すべきかどうか？

主な発見

• どの最適化アルゴリズムを用いても、adversarial 攻撃の転送性は、元の入力からの RMSE 減少量と強く相関している。
• 元の入力に対して低い RMSE 値を達成する攻撃は、未観測のブラックボックスモデルへの転送性が常に高い傾向にある。
• RMSE の最小化を標的にした LARA 攻撃は、従来の ℓ∞ に基づく攻撃と比較して、転送性を 20% 向上させた。
• 転送性の顕著な向上にもかかわらず、LARA はターゲットモデルに対する成功確率を著しく上昇させないため、転送性そのものが真の攻撃強度を反映しているわけではないことが示された。
• ℓ∞ ノルムのみに依存して評価すると、RMSE 減少攻撃が引き起こす真の脆弱性を捉えきれず、誤った評価につながる可能性がある。
• 本研究は、攻撃性能を公正に評価し、転送性の過大評価を防ぐために、ℓ∞ と RMSE の両方を報告する二重指標評価基準の導入を要請する。