[論文レビュー] Bag of Tricks for Adversarial Training

Tianyu Pang, Xiao Yang+3 more|arXiv (Cornell University)|Oct 1, 2020

Adversarial Robustness in Machine Learning参考文献 111被引用数 12

ひとこと要約

この論文は、重み減衰、バッチ正則化モード、PGD初期化などの基本的な訓練ハイパーパrameterが、先行研究でしばしば無視されがちな、敵対的ロバストネスに極めて敏感であることを特定している。CIFAR-10における体系的なアブレーションを通じて、著者らは微小なハイパーパrameterの変更がロバスト精度を7%以上低下させることを示し、訓練設定を再最適化することで、AutoAttackにおいて新たなSOTA結果を達成した。これは、多くの先行防御が最適でない訓練設定のため、低く評価されていた可能性を示している。

ABSTRACT

Adversarial training (AT) is one of the most effective strategies for promoting model robustness. However, recent benchmarks show that most of the proposed improvements on AT are less effective than simply early stopping the training procedure. This counter-intuitive fact motivates us to investigate the implementation details of tens of AT methods. Surprisingly, we find that the basic settings (e.g., weight decay, training schedule, etc.) used in these methods are highly inconsistent. In this work, we provide comprehensive evaluations on CIFAR-10, focusing on the effects of mostly overlooked training tricks and hyperparameters for adversarially trained models. Our empirical observations suggest that adversarial robustness is much more sensitive to some basic training settings than we thought. For example, a slightly different value of weight decay can reduce the model robust accuracy by more than 7%, which is probable to override the potential promotion induced by the proposed methods. We conclude a baseline training setting and re-implement previous defenses to achieve new state-of-the-art results. These facts also appeal to more concerns on the overlooked confounders when benchmarking defenses.

研究の動機と目的

• 単純な早期停止と比較して、提案された敵対的訓練の改善策が限定的な向上を示す理由を調査すること。
• 敵対的ロバストネスに顕著な影響を与えるが、しばしば無視されがちな訓練ハイパーパrameterおよび実装詳細を同定すること。
• CIFAR-10におけるPGD-ATおよびTRADESベースの敵対的訓練に適した標準化され効果的な訓練レシピを確立すること。
• 最適化されたハイパーパラメータ設定を用いて先行防御を再実装することで、標準ベンチマークで新たなSOTA性能を達成できることを示すこと。
• 不一致した訓練設定によるコンfoundinG要因のため、敵対的防御のベンチマーク評価にリスクが伴うことを強調すること。

提案手法

• PGD-ATおよびTRADESにおける10以上の訓練テクニック（例：重み減衰、ルーレートスケジュール、バッチサイズ、BNモード、PGD初期化、早期停止、ウォームアップ、最適化手法の選択）の影響を体系的に評価する。
• CIFAR-10において、標準化され最適化されたハイパーパラメータレシピを用いて、先行防御（例：TRADES、PGD-AT）を再実装する。
• 一貫した評価プロトコルを採用：ℓ∞制約下でのAutoAttack、PGD-1000、SPSA、C&W攻撃。
• 重み減衰値（例：2×10⁻⁴ vs. 5×10⁻⁴）、BNモード（学習モード vs. 評価モード）、初期化戦略（一様分布 vs. 正規分布）の違いによる影響を比較する。
• WRN-34-10およびResNet-18を用いたアブレーションスタディにより、各ハイパーパラメータの影響を分離する。
• 統計的信頼性を確保するため、5つのランダムシードで結果を報告する。

実験結果

リサーチクエスチョン

• RQ1 重み減衰やバッチ正則化モードといった一般的な訓練ハイパーパラメータは、敵対的訓練モデルのロバスト精度にどのように影響するか？
• RQ2 なぜ多くの提案された敵対的訓練の改善策が、単純な早期停止と比較して限定的な向上を示すのか？
• RQ3 最適化された訓練設定を用いて先行防御を再実装することで、標準ベンチマークで新たなSOTA性能を達成できるか？
• RQ4 PGD初期化や学習率ウォームアップといった実装詳細は、モデルのロバストネスにどの程度の影響を与えるか？
• RQ5 同じ設定下で、最適化手法（例：Adam、AdamW、SGD-GC）の性能はどのように比較されるか？

主な発見

• 重み減衰を2×10⁻⁴から5×10⁻⁴に変更したことで、PGD-ATにおけるロバスト精度が7%以上低下し、このハイパーパラメータに対する極めて高い感受性を示した。
• 敵対的例生成時にバッチ正則化を評価モード（eval mode）で使用した場合、学習モード（train mode）と比較してロバスト精度が約5%向上した。
• PGD初期化を一様分布から正規分布（δ₀ ~ N(0, αI)）に切り替えたことで、同じモデルでロバスト精度が約5%向上した。
• 重み減衰 = 5×10⁻⁴、評価モードBN、ReLU活性化関数を用いた再訓練済みTRADESモデルは、AutoAttack（ℓ∞, ε=8/255）で54.39%のロバスト精度を達成し、新たなSOTAを樹立した。
• 同じモデルは、ε=0.031のAutoAttackでも53.94% ± 0.10%のロバスト精度を達成し、Riceら（2020年）やZhangら（2019b年）の先行研究を上回った。
• 最適化手法の選択が性能に顕著な影響を与えることが判明：AdamWではAutoAttackで45.79%のロバスト精度を示したが、SGD-GCでは51.65%を達成し、最適化戦略の重要性を強調した。