[論文レビュー] Removing Batch Normalization Boosts Adversarial Training

Haotao Wang, Aston Zhang+4 more|arXiv (Cornell University)|Jul 4, 2022

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

この論文は、敵対的訓練においてバッチ正規化（BN）層を削除することで、クリーンデータと敵対的データの混合分布をより効果的に扱える、正規化不要なロバストトレーニング手法NoFrostを提案する。NF-ResNetのような正規化不要ネットワークを活用することで、ResNet50を用いたImageNet上でのクリーン精度が74.06%、PGD攻撃に対するロバスト性が23.56%に達し、BNベースの手法が最大16.78%のクリーン精度低下を示すのとは対照的に顕著に優れた性能を発揮する。

ABSTRACT

Adversarial training (AT) defends deep neural networks against adversarial attacks. One challenge that limits its practical application is the performance degradation on clean samples. A major bottleneck identified by previous works is the widely used batch normalization (BN), which struggles to model the different statistics of clean and adversarial training samples in AT. Although the dominant approach is to extend BN to capture this mixture of distribution, we propose to completely eliminate this bottleneck by removing all BN layers in AT. Our normalizer-free robust training (NoFrost) method extends recent advances in normalizer-free networks to AT for its unexplored advantage on handling the mixture distribution challenge. We show that NoFrost achieves adversarial robustness with only a minor sacrifice on clean sample accuracy. On ImageNet with ResNet50, NoFrost achieves $74.06\%$ clean accuracy, which drops merely $2.00\%$ from standard training. In contrast, BN-based AT obtains $59.28\%$ clean accuracy, suffering a significant $16.78\%$ drop from standard training. In addition, NoFrost achieves a $23.56\%$ adversarial robustness against PGD attack, which improves the $13.57\%$ robustness in BN-based AT. We observe better model smoothness and larger decision margins from NoFrost, which make the models less sensitive to input perturbations and thus more robust. Moreover, when incorporating more data augmentations into NoFrost, it achieves comprehensive robustness against multiple distribution shifts. Code and pre-trained models are public at https://github.com/amazon-research/normalizer-free-robust-training.

研究の動機と目的

• 敵対的訓練におけるクリーン画像の性能低下という、実用的展開を制限する主要な障壁を解消すること。
• クリーンサンプルと敵対的サンプルの混合分布を正しくモデル化できないため、バッチ正規化（BN）がクリーン精度とロバスト性のトレードオフの主な要因であることを特定すること。
• 混合分布の課題を解消するために、BNの延長（例：混合BN）ではなく、BN層を完全に削除する代替手法を検討すること。
• 正規化不要ネットワークが、ロバストトレーニングにおける不均一なデータ分布の取り扱いにおいて未開拓の利点を提供することを示すこと。
• 自然な破損や敵対的攻撃を含む、複数の分布シフトに対して包括的なロバスト性を達成するように手法を拡張すること。

提案手法

• 敵対的訓練におけるすべてのバッチ正規化層を削除する正規化不要なロバストトレーニングフレームワークNoFrostを提案する。
• 統計に基づく正規化に失敗する混合分布に対処するため、正規化層を含まないResNetの変種であるNF-ResNetをバックボーンとして採用する。
• クリーン画像、FGSM/PGDの敵対的サンプル、およびDeepAugmentやテクスチャデバイアス除去増幅（TDA）などのデータ拡張を、同時に学習する。
• 正規化層が存在しない状況での訓練安定化のため、重み減衰と確率的深さ（stochastic depth）を用いる。
• 1つのモデル内でクリーン、敵対的、破損、スタイライズドといった複数の不均一なデータ分布の統合学習を可能にする。
• モデルの滑らかさとより大きな意思決定マージンが、改善されたロバスト性の背後にあるメカニズムであると解釈する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化層を削除することで、敵対的訓練におけるクリーン精度とロバスト性のトレードオフを顕著に改善できるか？
• RQ2 BNや混合BNよりも、正規化不要なトレーニングがクリーンサンプルと敵対的サンプルの混合分布をより効果的に処理できるか？
• RQ3 正規化不要なネットワークは、ImageNet上で高いクリーン精度を維持しながら、優れたロバスト性を達成できるか？
• RQ4 NoFrostは、敵対的攻撃を超えて、自然な破損や他の分布シフトに対しても包括的なロバスト性を達成できるか？
• RQ5 改善されたロバスト性を説明する背後メカニズム（例：滑らかさ、意思決定マージン）は何か？

主な発見

• NoFrostは、ResNet50を用いたImageNet上でのクリーン精度が74.06%に達し、標準トレーニングと比較してわずか2.00%の低下に抑えられる。一方、BNベースの敵対的訓練では59.28%（16.78%の低下）にとどまる。
• NoFrostはPGD攻撃に対して23.56%のロバスト性を達成し、BNベースのATが示す13.57%と比べ顕著な向上を示す。
• APGD-CE攻撃において、NoFrostは最先端のBNベース手法MBNATよりもロバスト性が11.96%高く、クリーン精度も0.42%高い。
• NoFrostは、TRADES-FATよりもクリーン精度で12.15%高く、APGD-CE攻撃に対して7.25%高いロバスト性を示す。
• 拡張されたNoFrost*は、クリーン、敵対的、DeepAugment、TDAデータを同時に学習することで、OODベンチマークで最先端の性能を達成し、ResNet26ではDeepAugmentよりもPGDロバスト性が16.30%高い。
• NoFrostはより良いモデルの滑らかさとより大きな意思決定マージンを示しており、これにより入力の摂動に対する感受性が低減され、ロバスト性が向上している。