[論文レビュー] An Alternative Surrogate Loss for PGD-based Adversarial Testing

Sven Gowal, Jonathan Uesato+4 more|arXiv (Cornell University)|Oct 21, 2019

Adversarial Robustness in Machine Learning参考文献 28被引用数 52

ひとこと要約

この論文は MultiTargeted 攻撃を提案します。これは複数の代理損失を用いた PGD ベースの untargeted 敵対的テスト手法で、すべての非真クラスをターゲットにします。MNIST、CIFAR-10、ImageNet のリーダーボードにおける頑健性評価を最先端へと引き上げます。

ABSTRACT

Adversarial testing methods based on Projected Gradient Descent (PGD) are widely used for searching norm-bounded perturbations that cause the inputs of neural networks to be misclassified. This paper takes a deeper look at these methods and explains the effect of different hyperparameters (i.e., optimizer, step size and surrogate loss). We introduce the concept of MultiTargeted testing, which makes clever use of alternative surrogate losses, and explain when and how MultiTargeted is guaranteed to find optimal perturbations. Finally, we demonstrate that MultiTargeted outperforms more sophisticated methods and often requires less iterative steps than other variants of PGD found in the literature. Notably, MultiTargeted ranks first on MadryLab's white-box MNIST and CIFAR-10 leaderboards, reducing the accuracy of their MNIST model to 88.36% (with $\ell_\infty$ perturbations of $ε= 0.3$) and the accuracy of their CIFAR-10 model to 44.03% (at $ε= 8/255$). MultiTargeted also ranks first on the TRADES leaderboard reducing the accuracy of their CIFAR-10 model to 53.07% (with $\ell_\infty$ perturbations of $ε= 0.031$).

研究の動機と目的

• PGD のハイパーパラメータ（最適化アルゴリズム、ステップサイズ、代理損失）が敵対的テスト性能に与える影響を明確にする。
• 複数の代理損失を用いて未ターゲット攻撃を行い、摂動探索を改善する MultiTargeted を提案する。
• MultiTargeted が標準的な PGD の変種よりデータセットとモデル全体で優れている条件を示す。
• 頑健性評価のための PGD ベース攻撃の調整方法に関する実践的ガイドラインを提供する。

提案手法

• 異なる最適化アルゴリズム、代理損失、ステップサイズスケジュールを用いたPGDベースの敵対的テストを定義・分析する。
• 各リスタートごとに異なるターゲットクラスを用い、別々の代理損失を使用する MultiTargeted を導入する。
• プログラム的実装（アルゴリズム 2）を提案し、ターゲットクラスを別々の代理損失とともに循環させる。
• MultiTargeted が凸の脅威集合と局所的に線形なモデルの下で通常の PGD より強力であることを理論的に示す（定理 3.1および3.2）。
• 同等の計算予算下で MNIST、CIFAR-10、ImageNet に対して MultiTargeted を標準的な PGD およびアンサンブル/結合攻撃と比較する。

実験結果

リサーチクエスチョン

• RQ1 同じ計算予算の下で、複数代理損失を用いた multi-surrogate アプローチ（MultiTargeted）が標準のPGDベースの untargeted 攻撃より優れているか？
• RQ2 どの条件（凸の脅威集合、局所的線形性）で MultiTargeted が最適な敵対摂動を見つけることを保証するか？
• RQ3 リスタート回数、ターゲットクラス集合のサイズ、ステップサイズスケジュールがデータセット全体の攻撃力にどう影響するか？
• RQ4 MultiTargeted の実測性能は、広く用いられるベンチマーク（MNIST、CIFAR-10、ImageNet）で最先端の攻撃と比較してどうか？

主な発見

データセット / モデル	ε	通常のPGD	MultiTargeted	PGD+MT	集計済み	最先端（リーダーボード）
Mnist (Madry et al.)	0.3	88.21%	88.43%	88.36%	88.18%	88.42%
Cifar-10 (Madry et al.)	8/255	44.51%	44.05%	44.03%	44.03%	44.51%
Cifar-10 (Zhang et al.)	0.031	53.70%	53.07%	53.07%	53.05%	53.44%

• MultiTargeted は CIFAR-10 および ImageNet 全般で通常の PGD 変種より攻撃性能が高いことが多い。
• MNIST では同じ計算量では通常の PGD が MultiTargeted を上回る場合もあるが、MT は依然として競争力がある；MT と PGD 変異はともに最先端結果へ寄与する。
• MT は MNIST と CIFAR-10 のリーダーボードで最先端の頑健性評価を達成し、標準的な PGD よりも同様の予算内でモデル精度を低下させる。
• ターゲット付きの多重損失探索（トップ-Ｔ クラス）は、攻撃強度を維持・向上しつつ必要な手順数を大幅に削減できる。
• PGD+MT ハイブリッド攻撃はわずかな利益しかなく、MT 単独で多くの場合トップ結果を達成できることを示唆する。
• 全体として、MT は頑健性訓練済みモデル（例：TRADES、UAT）や深層ネットワーク（ImageNet 変種を含む）で特に効果的である。