[論文レビュー] Efficient Two-Step Adversarial Defense for Deep Neural Networks

Ting‐Jui Chang, Yukun He+1 more|arXiv (Cornell University)|Oct 8, 2018

Adversarial Robustness in Machine Learning参考文献 10被引用数 6

ひとこと要約

本稿では、1つの入力に対して2つの adversarial example を生成する計算効率の高い2段階 adversarial defense である e2SAD を提案する。最初に FGSM を用いて、次にモデルの最大の脆弱性を標的にする第2の adversarial example を生成することで、高価な反復的 adversarial training（例：IFGSM）と同等の頑健性を達成するが、計算コストは著しく低い。この手法は、1段階（FGSM）および多段階（IFGSM）の white-box 攻撃に対して強力な防御を実現し、soft labels とハイパーパrameterチューニングを用いて black-box 攻撃に対しても拡張可能である。

ABSTRACT

In recent years, deep neural networks have demonstrated outstanding performance in many machine learning tasks. However, researchers have discovered that these state-of-the-art models are vulnerable to adversarial examples: legitimate examples added by small perturbations which are unnoticeable to human eyes. Adversarial training, which augments the training data with adversarial examples during the training process, is a well known defense to improve the robustness of the model against adversarial attacks. However, this robustness is only effective to the same attack method used for adversarial training. Madry et al.(2017) suggest that effectiveness of iterative multi-step adversarial attacks and particularly that projected gradient descent (PGD) may be considered the universal first order adversary and applying the adversarial training with PGD implies resistance against many other first order attacks. However, the computational cost of the adversarial training with PGD and other multi-step adversarial examples is much higher than that of the adversarial training with other simpler attack techniques. In this paper, we show how strong adversarial examples can be generated only at a cost similar to that of two runs of the fast gradient sign method (FGSM), allowing defense against adversarial attacks with a robustness level comparable to that of the adversarial training with multi-step adversarial examples. We empirically demonstrate the effectiveness of the proposed two-step defense approach against different attack methods and its improvements over existing defense strategies.

研究の動機と目的

• 反復的 adversarial training（例：IFGSM）の高い計算コストを低減しつつ、強力な adversarial attack に対して頑健性を維持すること。
• 1つのサンプルに対して2つの adversarial example のみを用いて、clean input の近傍におけるモデルの脆弱性を効果的に特定する防御メカニズムを開発すること。
• 高価な多段階 adversarial training（例：IFGSM）と同等の頑健性を達成するが、FGSM などの1段階手法と同等の訓練時間で実現すること。
• soft labels とハイパーパrameterチューニングを用いて、black-box 攻撃に対しても頑健性を拡張すること。
• 重み付き損失関数を用いて、1段階および多段階 adversarial attack の両方に対する防御をバランスよく実現すること。

提案手法

• 最初の段階では、小さな摂動バジェット（ε₁ = 24/255）を用いた Fast Gradient Sign Method（FGSM）により adversarial example を生成する。
• 2番目の段階では、最初の adversarial example の近傍におけるモデルの脆弱性を最大化するように、第2の adversarial example を特定する。この際、検索をガイドするための非類似性測度を用いる。
• 合成損失関数は、元の交差エントロピー損失に加え、両方の adversarial example からの損失を組み合わせたものであり、その寄与度を調整する学習可能な重み λ を含む。
• 一般化性と頑健性（特に black-box 攻撃に対して）を向上させるために、ラベルスムージング（正解クラスの確率 = 0.75）を採用する。
• 訓練プロセスでは、標準的な最適化（Adam、20エポック）を用い、バッチサイズは 256 であり、MNIST および SVHN データセットで評価される。
• 本手法は、既存のディープラーニングフレームワークと互換性があり、大規模なモデルやデータセットへのスケーラビリティを備えている。

実験結果

リサーチクエスチョン

• RQ1 2段階 adversarial defense は、反復的 adversarial training（例：IFGSM）と同等の頑健性を達成しつつ、計算コストを大幅に削減できるか？
• RQ2 1段階（FGSM）と、脆弱性を最大化する第2の adversarial example の組み合わせは、1段階および多段階攻撃の両方に対する防御を向上させられるか？
• RQ3 soft labels とハイパーパrameterチューニングの使用は、2段階防御フレームワークにおける black-box 攻撃に対する頑健性を向上させるか？
• RQ4 最初の adversarial example と第2の adversarial example の非類似性は、より良い頑健性を実現するための信頼できるシグナルとして機能できるか？
• RQ5 e2SAD は、SVHN などの実世界のデータセットにおいて、FGSM および IFGSM による標準的な adversarial training と比較して、頑健性と効率性の両面で優れているか？

主な発見

• SVHN データセットにおいて、e2SAD は clean data に対してテスト精度 0.9236、FGSM 攻撃（ε=24/255）に対して 0.7881 を達成し、FGSMベースの adversarial training（0.7842）および自然モデル（0.1962）を上回った。
• 反復的 IFGSM 攻撃（k=10, ε=24/255）に対しては、e2SAD が 0.3328 の頑健な精度を達成し、FGSMベースの訓練（0.0455）および自然モデル（0.0628）を著しく上回った。
• k=30 の IFGSM 攻撃に対しても、e2SAD は 0.3868 の頑健な精度を維持し、IFGSMベースの adversarial training（0.3146）および自然モデル（0.0593）を上回った。
• e2SAD は black-box IFGSM 攻撃に対しても強力な防御を示し、k=30 時に 0.3868 の頑健な精度を達成した。これは、white-box の設定を超えた有効性を示している。
• e2SAD は、高価な IFGSMベースの adversarial training と同等の頑健性を達成した一方で、FGSMベースの訓練と同等の訓練時間を維持した。
• soft labels の使用とハイパーパrameterチューニング（λ=0.3）により、一般化性と頑健性が顕著に向上し、特に black-box 攻撃の状況下で顕著であった。