[論文レビュー] Efficient and Effective Augmentation Strategy for Adversarial Training

Sravanti Addepalli, Samyak Jain+1 more|arXiv (Cornell University)|Oct 27, 2022

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本稿では、分離されたバッチ正規化層とジェンセン・シャノン発散損失を用いて単純かつ複雑な増幅を統合することで、学習をガイドする、敵対的訓練のための新しいデータ増幅戦略DAJATを提案する。昇順制約敵対的訓練（ACAT）を2段階の攻撃とεの増加と組み合わせることで、CIFAR-10、CIFAR-100、ImageNetteにおいて、ResNet-18およびWideResNet-34-10を用いてRobustBenchのリーダーボードで既存手法を上回る、最先端のロバストネスと精度のトレードオフを達成する。

ABSTRACT

Adversarial training of Deep Neural Networks is known to be significantly more data-hungry when compared to standard training. Furthermore, complex data augmentations such as AutoAugment, which have led to substantial gains in standard training of image classifiers, have not been successful with Adversarial Training. We first explain this contrasting behavior by viewing augmentation during training as a problem of domain generalization, and further propose Diverse Augmentation-based Joint Adversarial Training (DAJAT) to use data augmentations effectively in adversarial training. We aim to handle the conflicting goals of enhancing the diversity of the training dataset and training with data that is close to the test distribution by using a combination of simple and complex augmentations with separate batch normalization layers during training. We further utilize the popular Jensen-Shannon divergence loss to encourage the joint learning of the diverse augmentations, thereby allowing simple augmentations to guide the learning of complex ones. Lastly, to improve the computational efficiency of the proposed method, we propose and utilize a two-step defense, Ascending Constraint Adversarial Training (ACAT), that uses an increasing epsilon schedule and weight-space smoothing to prevent gradient masking. The proposed method DAJAT achieves substantially better robustness-accuracy trade-off when compared to existing methods on the RobustBench Leaderboard on ResNet-18 and WideResNet-34-10. The code for implementing DAJAT is available here: https://github.com/val-iisc/DAJAT.

研究の動機と目的

• 標準訓練では成功を収めるが、敵対的訓練では性能が著しく低いとされる、AutoAugmentのような強力なデータ増幅の問題を解決すること。
• 敵対的訓練において、データの多様性を高めることと、テストデータ分布への整合性を保つことの間にある矛盾を解消すること。
• 勾配マスキングを回避しつつ、ロバストネスと精度を向上させる、効率的でスケーラブルな手法を開発すること。
• 単純な増幅との共同学習を活用することで、低データ環境における複雑な増幅の有効な利用を可能にすること。
• 最小限の計算コストで、標準的およびロバストなベンチマークで最先端の性能を達成すること。

提案手法

• 単純かつ複雑な増幅を別々のバッチ正規化層を用いて訓練する、多様な増幅に基づく共同敵対的訓練（DAJAT）を提案する。これにより、分布的要件と多様性の要件を分離する。
• 異なる増幅のソフトマックス出力間のジェンセン・シャノン発散損失を導入し、単純な増幅が複雑な増幅の学習をガイドできるようにする。
• 勾配マスキングを防止し、訓練の安定性を向上させるために、線形に増加するεスケジュールと重み空間スムージングを用いた昇順制約敵対的訓練（ACAT）を採用する。
• 計算コストを削減しつつロバストネスを維持するために、10ステップではなく2段階のPGD攻撃を訓練中に使用する。
• 学習率のコサインスケジューリングと重み空間スムージングを適用し、収束性と一般化性能を向上させる。
• OAAT、AWP、HATといった既存手法とDAJATを統合し、アーキテクチャやデータセットを問わず一貫した性能向上を示している。

実験結果

リサーチクエスチョン

• RQ1 なぜAutoAugmentのような強力なデータ増幅は、標準訓練では成功するが、敵対的訓練では失敗するのか？
• RQ2 訓練のダイナミクスを適切に管理すれば、敵対的訓練において複雑なデータ増幅を効果的に活用できるか？
• RQ3 敵対的訓練において、データ増幅の多様性とテスト分布への整合性をどのように同時に最適化できるか？
• RQ4 軽量で効率的な防御戦略は、勾配マスキングを防止しつつ、ロバストネスと精度を向上させられるか？
• RQ5 データ増幅が最も重要となる低データ環境において、DAJATはどの程度性能を向上させられるか？

主な発見

• ResNet-18を用いたCIFAR-100において、DAJATはRobustBenchのリーダーボードで最先端のロバスト精度を達成し、同アーキテクチャを用いたすべての先行手法を上回る。
• CIFAR-100では、OAATと組み合わせたDAJATが、OAAT単体と比較してクリーン精度と敵対的精度で約1.5%向上し、AutoAttackにおけるε=16/255でもさらなる向上を示した。
• HATと組み合わせた場合、CIFAR-100ではクリーン精度が3–5%、ロバスト精度が約3%向上し、CIFAR-10ではそれぞれ約1%と約2%向上した。
• 損失関数の表面が滑らかであることが、損失関数の可視化によって確認され、勾配マスキングが存在せず、信頼性の高い勾配が得られていることが示された。
• ブラックボックス攻撃およびマルチステップ攻撃の結果、ロバストネスが確認され、1000ステップで精度が飽和し、1000回のランダムリスタートでもわずかな低下に留まった。評価の信頼性が裏付けられた。
• 2段階のPGDと増加するεを用いたACATは、計算コストを削減しながらも、強力な性能を維持しており、ロバストネスを犠牲にすることなく、効率性を示している。