[論文レビュー] Nesterov Accelerated Gradient and Scale Invariance for Improving Transferability of Adversarial Examples.

Jiadong Lin, Chuanbiao Song+3 more|arXiv (Cornell University)|Aug 17, 2019

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本稿では、ブラックボックス設定における adversarial examples の転送性を向上させるために NI-FGSM と SIM を提案する。NI-FGSM は前方最適化を可能にする Nesterov 加速勾配を用い、SIM はスケール不変性を活用してスケーリングされた画像コピー上で最適化することで過適合を軽減する。両者を組み合わせることで、ImageNet で最先端の攻撃成功率を達成する。

ABSTRACT

Deep learning models are vulnerable to adversarial examples crafted by applying human-imperceptible perturbations on benign inputs. However, under the black-box setting, most existing adversaries often have a poor transferability to attack other defense models. In this work, from the perspective of regarding the adversarial example generation as an optimization process, we propose two new methods to improve the transferability of adversarial examples, namely Nesterov Iterative Fast Gradient Sign Method (NI-FGSM) and Scale-Invariant attack Method (SIM). NI-FGSM aims to adapt Nesterov accelerated gradient into the iterative attacks so as to effectively look ahead and improve the transferability of adversarial examples. While SIM is based on our discovery on the scale-invariant property of deep learning models, for which we leverage to optimize the adversarial perturbations over the scale copies of the input images so as to avoid overfitting on the white-box model being attacked and generate more transferable adversarial examples. NI-FGSM and SIM can be naturally integrated to build a robust gradient-based attack to generate more transferable adversarial examples against the defense models. Empirical results on ImageNet dataset demonstrate that our attack methods exhibit higher transferability and achieve higher attack success rates than state-of-the-art gradient-based attacks.

研究の動機と目的

• 防御モデル間での一般化に失敗するブラックボックス設定における adversarial examples の低い転送性を解決する。
• adversarial example の生成を最適化プロセスとして再考することで、robust で一般化可能な adversarial examples を向上させる。
• 白색ボックス攻撃生成中にターゲットモデルに過適合することを克服し、未観測の防御モデルへの転送性を制限する要因を排除する。
• 攻撃初期段階以降、ターゲットモデルのアーキテクチャや勾配へのアクセスを必要とせずに、転送性を向上させる手法を開発する。
• 多様な防御メカニズムにわたって、目立たない摂動を維持したまま ImageNet で高い攻撃成功率を達成する。

提案手法

• Nesterov 加速勾配を反復的 FGSM に統合することで、adversarial パーティクル生成中に前方最適化を可能にする Nesterov 反復的 Fast Gradient Sign Method (NI-FGSM) を提案する。
• 入力画像の複数のスケールコピー上で摂動を最適化することで adversarial examples を生成する Scale-Invariant attack Method (SIM) を導入する。
• 深層学習モデルのスケール不変性を活用し、攻撃学習中に元の入力画像の特定のスケールに過適合するのを軽減する。
• NI-FGSM と SIM を統合した勾配ベースの攻撃フレームワークを構築し、収束性と転送性の両方を向上させる。
• NI-FGSM においてモーメンタムに類似した更新を繰り返し適用することで、adversarial パーティクル探索における方向性と安定性を向上させる。
• 攻撃プロセス中にスケール拡張データを適用し、異なる入力スケールに一般化する摂動を学習させる。

実験結果

リサーチクエスチョン

• RQ1 Nesterov 加速勾配は反復的 FGSM 攻撃における adversarial examples の転送性を向上させ得るか？
• RQ2 深層ネットワークのスケール不変性を活用することで、よりロバストで一般化可能な adversarial examples を得られるか？
• RQ3 Nesterov を用いた前方最適化とスケール拡張摂動探索を組み合わせることで、防御モデル間での転送性が向上するか？
• RQ4 防御メカニズムを備えた ImageNet において、提案手法は最先端の勾配ベース攻撃と比較して攻撃成功率で優れているか？
• RQ5 スケール不変最適化は、adversarial example 生成時の白色ボックスモデルへの過適合をどの程度軽減するか？

主な発見

• NI-FGSM と SIM を併用することで、ImageNet データセットにおいて SOTA の勾配ベース攻撃を上回る高い転送性を達成する。
• Nesterov 加速の統合により、adversarial 検索プロセスにおける収束性と方向性が向上し、転送性が向上する。
• SIM によるスケール不変最適化により、元の入力スケールへの過適合が軽減され、より一般化可能な adversarial パーティクルが得られる。
• 実験的結果から、提案手法は既存手法と比較して防御モデルにおける攻撃成功率がより高いことが示された。
• 深層ネットワークのスケール不変性が効果的に活用され、異なる入力スケールに一般化する adversarial examples が生成された。
• 統合された NI-FGSM と SIM フレームワークは、ImageNet における多様な防御メカニズムに対して、強力な性能を示した。