[論文レビュー] Understanding and Improving Fast Adversarial Training

Maksym Andriushchenko, Nicolas Flammarion|arXiv (Cornell University)|Jul 6, 2020

Adversarial Robustness in Machine Learning参考文献 47被引用数 45

ひとこと要約

この論文は FGSM に基づく高速対抗的訓練が壊滅的な過適合を引き起こす理由を分析し、GradAlign という正則化項を導入して頑健性を改善し、PGD ベースの訓練とのギャップを縮小する。

ABSTRACT

A recent line of work focused on making adversarial training computationally efficient for deep learning models. In particular, Wong et al. (2020) showed that $\ell_\infty$-adversarial training with fast gradient sign method (FGSM) can fail due to a phenomenon called "catastrophic overfitting", when the model quickly loses its robustness over a single epoch of training. We show that adding a random step to FGSM, as proposed in Wong et al. (2020), does not prevent catastrophic overfitting, and that randomness is not important per se -- its main role being simply to reduce the magnitude of the perturbation. Moreover, we show that catastrophic overfitting is not inherent to deep and overparametrized networks, but can occur in a single-layer convolutional network with a few filters. In an extreme case, even a single filter can make the network highly non-linear locally, which is the main reason why FGSM training fails. Based on this observation, we propose a new regularization method, GradAlign, that prevents catastrophic overfitting by explicitly maximizing the gradient alignment inside the perturbation set and improves the quality of the FGSM solution. As a result, GradAlign allows to successfully apply FGSM training also for larger $\ell_\infty$-perturbations and reduce the gap to multi-step adversarial training. The code of our experiments is available at https://github.com/tml-epfl/understanding-fast-adv-training.

研究の動機と目的

• FGSM に基づく高速対抗的訓練が、頑健なモデルを生み出す条件と理由を調査する。
• FGSM におけるランダム性の役割と、その摂動量に対する実際の影響を分析する。
• 壊滅的過適合を勾配整列と局所線形性に関連づける。
• 摂動集合内で勾配整列を明示的に最大化する GradAlign を提案する。
• CIFAR-10、SVHN、ImageNet の各データセットで、他の高速および多ステップ対抗的訓練法と GradAlign を比較評価する。

提案手法

• l_infty の脅威モデルの下で対抗的訓練を定式化し、FGSM、FGSM with random start、PGD ベースのアプローチを対比する。
• 勾配整列正則化項 GradAlign を導入し、x と x+η の間の角度 cos(angle) の 1 - cos を最小化する。
• 単一層の CNN における勾配整列を分析して、単一フィルタがどう非線形性と過適合を生み出すかを説明する。
• ランダムスタートが期待される摂動長を低減する理論的境界を示し、これを線形近似品質と結びつける。
• Empirically は FGSM、FGSM-RS、FGSM+GradAlign、AT for Free、PGD-2、PGD-10 を CIFAR-10、SVHN、ImageNet で比較する。
• 訓練の詳細と評価設定を、PGD-50-10 の頑健性を主要指標として文書化する。

実験結果

リサーチクエスチョン

• RQ1 FGSM ベースの対抗的訓練が壊滅的な過適合を回避する条件は何か。
• RQ2 FGSM のランダム性（FGSM-RS）は主に摂動の大きさを減らすのか、それとも別の機構が作用しているのか。
• RQ3 摂動集合内の勾配整列は頑健性と壊滅的過適合にどう関連するか。
• RQ4 勾配整列を最大化する正則化項（GradAlign）を用いて、包括的な内側最大化を必要とせずに壊滅的過適合を防ぎ、高速対抗訓練を改善できるか。
• RQ5 提案手法は CIFAR-10、SVHN、ImageNet の標準ベンチマークにおいて PGD ベースの対抗訓練とどのように比較されるか。

主な発見

• FGSM および関連する高速対抗的訓練法は壊滅的過適合を示すことがあり、GradAlign はこれを防ぎ、PGD-10 への頑健性ギャップを縮める。
• FGSM-RS は壊滅的過適合を本質的に解決するわけではなく、FGSM ステップサイズを小さくすることでランダム性なしで同様の頑健性を得られる。
• ランダムスタートは期待摂動長を減少させ、線形近似品質を向上させ、FGSM-RS の部分的な利点を説明する。
• 壊滅的過適合は勾配整列の低下と FGSM と PGD の方向の不整合と相関する。
• GradAlign は x と x+η の間の勾配整列を高め、より大きな l_infty 半径で FGSM 訓練に頑健性を与え、PGD-10 の性能に近づける。
• GradAlign は PGD-2 と組み合わせると頑健性を高め、ImageNet へのスケーラビリティもあるが、二重バックプロパゲーションによる訓練遅延が生じる。