[論文レビュー] Nesterov Accelerated Gradient and Scale Invariance for Adversarial Attacks

Jiadong Lin, Chuanbiao Song+3 more|arXiv (Cornell University)|Aug 17, 2019

Adversarial Robustness in Machine Learning参考文献 32被引用数 229

ひとこと要約

論文は、転送性を高める2つの勾配ベース敵対的攻撃強化、NI-FGSMとSIM、を提案し、特に防御に対して、モデル間の転移性を改善し、ImageNet上で黒箱攻撃の効果を示す。

ABSTRACT

Deep learning models are vulnerable to adversarial examples crafted by applying human-imperceptible perturbations on benign inputs. However, under the black-box setting, most existing adversaries often have a poor transferability to attack other defense models. In this work, from the perspective of regarding the adversarial example generation as an optimization process, we propose two new methods to improve the transferability of adversarial examples, namely Nesterov Iterative Fast Gradient Sign Method (NI-FGSM) and Scale-Invariant attack Method (SIM). NI-FGSM aims to adapt Nesterov accelerated gradient into the iterative attacks so as to effectively look ahead and improve the transferability of adversarial examples. While SIM is based on our discovery on the scale-invariant property of deep learning models, for which we leverage to optimize the adversarial perturbations over the scale copies of the input images so as to avoid "overfitting" on the white-box model being attacked and generate more transferable adversarial examples. NI-FGSM and SIM can be naturally integrated to build a robust gradient-based attack to generate more transferable adversarial examples against the defense models. Empirical results on ImageNet dataset demonstrate that our attack methods exhibit higher transferability and achieve higher attack success rates than state-of-the-art gradient-based attacks.

研究の動機と目的

• 黒箱設定の下で転送可能な敵対的例の研究動機づけ。
• 転送性を改善するための2つの新しい攻撃戦略を導入：NI-FGSMとSIM。
• NI-FGSMとSIMを組み合わせると堅牢な攻撃（SI-NI-FGSM）を生み出すことを示す。
• ImageNet上で通常訓練モデルおよび敵対的訓練モデルに対して優れた攻撃性能を示す。
• 高度な defenses に対して評価し、提案攻撃の頑健性を強調。

提案手法

• L∞摂動境界を用いた最適化問題として敵対的例生成を再定式化。
• 逐次勾配攻撃にNesterov加速勾配を組み込むことでNI-FGSMを導入。
• 深層ネットのスケール不変性を利用し、入力の尺度コピーに対する損失最大化を行いSIMを開発。
• NI-FGSMとSIMをSI-NI-FGSMに統合し、DIM、TIM、TI-DIM変種を拡張してさらなる利得を得る。
• 更新中にスケールコピー勾配和とNesterov補正を含むSI-NI-FGSMアルゴリズムを提供。

実験結果

リサーチクエスチョン

• RQ1 Nesterov加速勾配は勾配ベースの敵対的攻撃の転移性を改善できるか。
• RQ2 入力尺度によるスケール不変性を利用するSIMはモデル間の転移性を高めるか。
• RQ3 NI-FGSMとSIMの組み合わせ（SI-NI-FGSM）は通常の防御および頑健防御を横断して既存の勾配ベース攻撃を上回るか。
• RQ4 SI-NI-FGSMの派生は高度な defenses および ImageNet上の敵対的訓練モデルに対してどう機能するか。

主な発見

• SI-NI-FGSMとそのDIM/TIM拡張は、ImageNet上のブラックボックス転移性において常にベースラインを上回る。
• SI-NI-TI-DIMは高い転移性を達成し、敵対的訓練モデルに対しても、防御全体で約93.5%の平均成功率を示す。
• SI-NI-FGSMは一般にMI-FGSMよりも少ない反復回数で同等または高い攻撃成功を達成し、生成が速く転移性も良い。
• 入力のスケール不変性によりスケールごとの損失安定性が得られ、多数のモデルを再訓練せずにモデル補強が可能。
• スケール拡張入力のアンサンブル上で最適化された攻撃は未見の防御に対してより良く転移し、最先端の勾配ベース手法を上回る。