[論文レビュー] Towards Understanding Fast Adversarial Training

Bai Li, Shiqi Wang+2 more|arXiv (Cornell University)|Jun 4, 2020

Adversarial Robustness in Machine Learning参考文献 37被引用数 24

ひとこと要約

この論文は、高速 adversarial 訓練が崩壊的過適合を避けるのではなく、確率的初期化によってそれを回復することで成功していることを説明している。著者らは、より長い訓練を可能にする修正された訓練戦略を提案し、その強化された手法を PGD 訓練のウェイクアップとして用いることで、標準的な PGD adversarial 訓練に比べて75%少ない訓練時間で最先端のロバスト性を達成した。

ABSTRACT

Current neural-network-based classifiers are susceptible to adversarial examples. The most empirically successful approach to defending against such adversarial examples is adversarial training, which incorporates a strong self-attack during training to enhance its robustness. This approach, however, is computationally expensive and hence is hard to scale up. A recent work, called fast adversarial training, has shown that it is possible to markedly reduce computation time without sacrificing significant performance. This approach incorporates simple self-attacks, yet it can only run for a limited number of training epochs, resulting in sub-optimal performance. In this paper, we conduct experiments to understand the behavior of fast adversarial training and show the key to its success is the ability to recover from overfitting to weak attacks. We then extend our findings to improve fast adversarial training, demonstrating superior robust accuracy to strong adversarial training, with much-reduced training time.

研究の動機と目的

• 高速 adversarial 訓練の成功の背後にあるメカニズムを理解すること。これは、その効率性にもかかわらず、依然として十分に理解されていない。
• 高速 adversarial 訓練の限界を是正すること。これは、崩壊的過適合のため、数エポックを超えてスケーリングできないことによる。
• 高速 adversarial 訓練の効率性を維持しながら、より長い訓練を可能にし、ロバスト性を向上させることを目的とした訓練戦略の開発。
• 改善された高速 adversarial 訓練が、PGD adversarial 訓練の有効なウェイクアップとして機能できることを示すこと。これにより、性能を落とさずに訓練時間を短縮できる。

提案手法

• 著者らは高速 adversarial 訓練の挙動を分析し、その成功が過適合を避けるのではなく、崩壊的過適合からの回復能力に起因することを特定した。
• 彼らは、段階的（piecewise）学習率スケジュールを用いて過適合を緩和することで、高速 adversarial 訓練を多数のエポックにわたって実行可能にする修正された訓練戦略を提案した。
• 改善された高速 adversarial 訓練を、PGD adversarial 訓練のウェイクアップフェーズとして用い、高速攻撃から学習されたロバストな特徴でモデルを初期化した。
• FGSM 攻撃において確率的初期化を活用することで、攻撃の多様性を高め、過適合を防ぎつつ、計算効率を維持した。
• 本手法は、複数のデータセット（CIFAR-10、CIFAR-100、Tiny ImageNet）およびアーキテクチャ（PreAct ResNet-18、Wide-ResNet-34-10、ResNet-50）で評価された。

実験結果

リサーチクエスチョン

• RQ1 なぜ弱い攻撃を用いるにもかかわらず、高速 adversarial 訓練はロバスト性を達成できるのか。一方、通常の FGSM 訓練は崩壊的過適合のため失敗するのか？
• RQ2 高速 adversarial 訓練が崩壊的過適合を回避または回復できるのは何によるのか。これは、標準的な FGSM 訓練とはどのように異なるのか？
• RQ3 高速 adversarial 訓練をロバスト性を失うことなく、より長い訓練スケジュールに拡張することは可能か。どのような修正が必要か？
• RQ4 改善された高速 adversarial 訓練が、PGD adversarial 訓練の有効なウェイクアップとして機能でき、全体の訓練時間を短縮しながらロバスト性を向上させられるか？

主な発見

• FastAdv+ は CIFAR-10 で 143.17 分の訓練時間で 51.01% のロバスト精度を達成し、標準的な PGD adversarial 訓練（54.10% のロバスト精度）よりもロバスト性が高く、訓練時間はたったの 14% にとどまった。
• FastAdvW は CIFAR-10 で 55.13% のロバスト精度を達成し、PGD adversarial 訓練（54.10%）を上回り、その訓練時間の 25% のみを要した。
• CIFAR-100 では、FastAdvW が 28.88% のロバスト精度を達成し、PGD adversarial 訓練（26.60%）を上回り、訓練時間は 75% 少ない。
• Tiny ImageNet では、FastAdvW が 21.82% のロバスト精度を達成し、PGD adversarial 訓練（21.62%）を上回り、訓練時間は 71% 減少した。
• 改善された高速 adversarial 訓練をウェイクアップとして用いることで、PGD 訓練がはるかに短い合計訓練時間でより高いロバスト性を達成できるようになった。