[論文レビュー] Understanding Catastrophic Overfitting in Single-step Adversarial Training

Hoki Kim, Woojin Lee+1 more|arXiv (Cornell University)|Oct 5, 2020

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

本稿は、単一ステップの adversarial training における catastrophic overfitting の根本的原因として、意思決定境界の歪みを特定し、モデルが FGSM 攻撃に対しては頑健になるが、多段階の PGD 攻撃に対しては失敗することを明らかにした。著者らは、過剰適合を防ぎ、多段階学習を必要とせず、PGD に対してほぼ 100% の頑健性を達成する、画像固有の摂動大きさ探索手法を提案した。この手法は、高速 adversarial training を上回り、計算コストを低減しつつ、PGD を基盤とする手法と同等の頑健性を達成した。

ABSTRACT

Although fast adversarial training has demonstrated both robustness and efficiency, the problem of "catastrophic overfitting" has been observed. This is a phenomenon in which, during single-step adversarial training, the robust accuracy against projected gradient descent (PGD) suddenly decreases to 0% after a few epochs, whereas the robust accuracy against fast gradient sign method (FGSM) increases to 100%. In this paper, we demonstrate that catastrophic overfitting is very closely related to the characteristic of single-step adversarial training which uses only adversarial examples with the maximum perturbation, and not all adversarial examples in the adversarial direction, which leads to decision boundary distortion and a highly curved loss surface. Based on this observation, we propose a simple method that not only prevents catastrophic overfitting, but also overrides the belief that it is difficult to prevent multi-step adversarial attacks with single-step adversarial training.

研究の動機と目的

• 単一ステップの adversarial training における catastrophic overfitting の根本的要因を調査すること。ここでは、FGSM に対する頑健性は向上するが、PGD に対する頑健性が 0% に低下する。
• 固定された摂動大きさが意思決定境界を歪め、多段階攻撃がモデルをだますのを可能にする役割を分析すること。
• 計算コストが低く、多様な adversarial 攻撃に対して強い頑健性を維持しながら catastrophic overfitting を防ぐ効率的でシンプルな手法を開発すること。
• 単一ステップ学習では多段階攻撃に対処できないという仮定に挑戦し、適切な摂動スケーリングによりそれが可能であることを示すこと。

提案手法

• 訓練中に各入力画像に対して最適な摂動大きさを動的に決定する手法を提案し、固定された ε を使用するのではなく、それらを代替する。
• 探索ベースのアプローチを用いて、モデルをだますことができる最大の摂動を特定し、さまざまな攻撃の大きさに対して頑健性を確保する。
• 高速 adversarial training フレームワークに適応的摂動ステップを統合し、計算効率を維持する。
• クリーンなデータと adversarial 損失の最適化の両方でこの手法を適用し、勾配を整列させることで一般化性能を向上させる。
• 探索範囲を制御するハイパーパrameter c を使用し、実験では c=3 が最適なパフォーマンスを示した。
• 標準的な交差エントロピー損失を用いて訓練を行い、適応的ステップサイズで生成された adversarial 例を用いることで、多段階 PGD に依存しない。

実験結果

リサーチクエスチョン

• RQ1 なぜ単一ステップの adversarial training 中に FGSM に対する頑健性は向上するが、PGD に対する頑健性は 0% に低下するのか？
• RQ2 固定された摂動大きさが意思決定境界の歪みと catastrophic overfitting を引き起こす仕組みは何か？
• RQ3 単純で画像固有の摂動スケーリング手法は、頑健性を損なわず catastrophic overfitting を防げるか？
• RQ4 単一ステップの adversarial training を用いても、多段階攻撃に対して高い頑健性を達成できるか？

主な発見

• 提案手法は、CIFAR-10 および Tiny ImageNet で catastrophic overfitting を防止し、fast adversarial training が 0.0% となるのに対し、PGD50 頑健性が 7.8% を維持した。
• CIFAR-10 では、標準精度が 49.6%、FGSM 頑健性が 12.5% を達成し、fast adversarial training（標準精度 26.2%、FGSM 頑健性 49.0%）を上回り、PGD2 adversarial training と同等の頑健性を達成した。
• Tiny ImageNet では、提案手法が 7.8% の PGD50 頑健性を達成し、fast adversarial training（0.0%）を著しく上回り、PGD2 adversarial training の性能に近づいた。
• Tiny ImageNet では、提案手法の訓練時間を 25.7 時間まで短縮した。これは、PGD2 が 27.7 時間、fast adversarial training が 19.6 時間であるのに対し、より優れた頑健性を提供した。
• 提案手法で訓練されたモデルは、Wide-ResNet-40-10 モデルからのブラックボックス PGD50 攻撃に対しても、Tiny ImageNet で 7.8% の PGD50 頑健性を示した。
• AutoAttack の結果は、モデルの頑健性を裏付け、提案手法は PGD2 adversarial training と同等の高いパフォーマンスを達成した。一方、fast adversarial training は AA 攻撃で完全に失敗した。