[論文レビュー] Bag of Tricks for FGSM Adversarial Training

Zichao Li, Li Liu+3 more|arXiv (Cornell University)|Sep 6, 2022

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

この論文は、崩壊的過適合に苦しむFast Gradient Sign Method adversarial training (FGSM-AT) を安定化する実用的で計算効率の良いテクニックのBag of tricksを導入する。固定画素マスキング、大きな畳み込みストライド、滑らかな活性化関数、最初の層の重み正則化といった単純な修正を適用することで、PreActResNet-18を用いたCIFAR-10においてPGD-50に対して49.8%、AutoAttackに対して46.4%のロバスト精度を達成し、複雑な攻撃や高い計算コストに依存せずに、純粋なFGSM-ATでもロバストなモデルを構築可能であることを示している。

ABSTRACT

Adversarial training (AT) with samples generated by Fast Gradient Sign Method (FGSM), also known as FGSM-AT, is a computationally simple method to train robust networks. However, during its training procedure, an unstable mode of "catastrophic overfitting" has been identified in arXiv:2001.03994 [cs.LG], where the robust accuracy abruptly drops to zero within a single training step. Existing methods use gradient regularizers or random initialization tricks to attenuate this issue, whereas they either take high computational cost or lead to lower robust accuracy. In this work, we provide the first study, which thoroughly examines a collection of tricks from three perspectives: Data Initialization, Network Structure, and Optimization, to overcome the catastrophic overfitting in FGSM-AT. Surprisingly, we find that simple tricks, i.e., a) masking partial pixels (even without randomness), b) setting a large convolution stride and smooth activation functions, or c) regularizing the weights of the first convolutional layer, can effectively tackle the overfitting issue. Extensive results on a range of network architectures validate the effectiveness of each proposed trick, and the combinations of tricks are also investigated. For example, trained with PreActResNet-18 on CIFAR-10, our method attains 49.8% accuracy against PGD-50 attacker and 46.4% accuracy against AutoAttack, demonstrating that pure FGSM-AT is capable of enabling robust learners. The code and models are publicly available at https://github.com/UCSC-VLAA/Bag-of-Tricks-for-FGSM-AT.

研究の動機と目的

• 1ステップの訓練内にロバスト精度が0に崩壊する崩壊的過適合によって引き起こされるFGSM-ATの不安定性を解消すること。
• PGDのような高コストな adversarial 攻撃に依存せずに、軽量で計算効率の良い解決策を提供してFGSM-ATを安定化すること。
• FGSM-ATの安定化に、データ初期化におけるランダムネスが本質的であるかどうかを検証し、従来の仮定に挑戦すること。
• アーキテクチャ的および最適化レベルの変更を調査し、FGSM-ATにおける訓練の安定性を内蔵的に向上させること。
• 単純な技術で安定化された純粋なFGSM-ATが、より複雑な adversarial training 法と同等の競争力を持つロバスト性を達成できることを示すこと。

提案手法

• FGSM-Maskの提案：FGSM-ATの訓練中に入力画素の固定またはランダムなサブセットをマスキングすることで最適化を安定化する。
• FGSM-Str2の導入：最初の畳み込み層のストライドを増加させることで特徴の重複を低減し、安定性を向上させる。
• ReLUの代わりに滑らかな活性化関数（例：SiLU）を適用することで勾配の鋭さを低減し、過適合を緩和する。
• ConvNormの導入：最初の畳み込み層の重みのL2ノルムを制約する軽量な重み正則化項を導入し、訓練を安定化させる。
• 複数のテクニック（例：大きなストライド＋滑らかな活性化＋ConvNorm）を組み合わせることで、ロバスト性に相乗効果をもたらす。
• ランダムマスキングではなく固定マスキングパターンを使用することで、安定化にランダムネスが必須でないことを示す。

実験結果

リサーチクエスチョン

• RQ1 固定でランダムでない画素マスキングは、ロバスト性に不可欠であるという信念に反して、FGSM-ATの訓練を安定化できるか？
• RQ2 最初の畳み込み層のストライドを増加させることで、CNNにおけるFGSM-ATの安定性が向上するか？
• RQ3 ReLUと比較して、SiLUのような滑らかな活性化関数は、FGSM-ATにおける崩壊的過適合を軽減できるか？
• RQ4 最初の畳み込み層に軽量な重み正則化（ConvNorm）を適用することで、顕著な計算コスト増加なしにFGSM-ATを安定化できるか？
• RQ5 これらのテクニックの組み合わせは、CIFAR-10 や CIFAR-100 のような標準ベンチマークで個々の手法よりも優れたロバスト性をもたらすか？

主な発見

• 固定画素マスキング（FGSM-Mask-Fixed）を用いたFGSM-ATは、PreActResNet-18を用いてCIFAR-10でPGD-50に対して49.8%、AutoAttackに対して46.4%のロバスト精度を達成した。
• 最初の畳み込み層に大きなストライド（Str2）を適用することで訓練が安定化し、WideResNet-34-10を用いてPGD-50-10に対して50.4%、AutoAttackに対して47.3%のロバスト精度を達成した。
• 滑らかな活性化関数（例：SiLU）を適用することで安定性が向上し、CIFAR-100でFGSM-Smoothを用いてAutoAttackに対して25.2%のロバスト精度を達成した。
• 最初の層に限定した軽量な重み正則化（ConvNorm）を適用することで訓練が安定化し、CIFAR-100でAutoAttackに対して25.1%のロバスト精度を達成した。
• 複数のテクニックの組み合わせ（例：Str2＋滑らかな活性化＋ConvNorm）により、最高のロバスト性が達成され、WideResNet-34-10でPGD-50-10に対して50.4%のロバスト精度を達成した。
• すべての提案手法は、大きな摂動（ε = 16/255）に対しても崩壊的過適合を防ぎ、FGSM-MaskはCIFAR-10でPGD-50-10に対して25.3%のロバスト精度を達成した。