[論文レビュー] Data Augmentation Alone Can Improve Adversarial Training

Lin Li, Michael Spratling|arXiv (Cornell University)|Jan 24, 2023

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

論文は、データ拡張を適切に設計して多様性と難易度を確保することで（CropshiftとIDBHフレームワークを介して）、敵対的訓練における精度と頑健性の両方を大幅に改善できることを示しており、早期停止によるベースライン拡張を打ち負かし、特に重み平均化と組み合わせた場合に、最新の正則化手法に匹敵するかそれを上回る成果を達成する。

ABSTRACT

Adversarial training suffers from the issue of robust overfitting, which seriously impairs its generalization performance. Data augmentation, which is effective at preventing overfitting in standard training, has been observed by many previous works to be ineffective in mitigating overfitting in adversarial training. This work proves that, contrary to previous findings, data augmentation alone can significantly boost accuracy and robustness in adversarial training. We find that the hardness and the diversity of data augmentation are important factors in combating robust overfitting. In general, diversity can improve both accuracy and robustness, while hardness can boost robustness at the cost of accuracy within a certain limit and degrade them both over that limit. To mitigate robust overfitting, we first propose a new crop transformation, Cropshift, which has improved diversity compared to the conventional one (Padcrop). We then propose a new data augmentation scheme, based on Cropshift, with much improved diversity and well-balanced hardness. Empirically, our augmentation method achieves the state-of-the-art accuracy and robustness for data augmentations in adversarial training. Furthermore, when combined with weight averaging it matches, or even exceeds, the performance of the best contemporary regularization methods for alleviating robust overfitting. Code is available at: https://github.com/TreeLLi/DA-Alone-Improves-AT.

研究の動機と目的

• 敵対的訓練における堅牢性の過剰適合による低下を調査する。
• 拡張の難易度と多様性が精度と頑健性に与える影響を評価する。
• 新しい拡張技術（Cropshift）とスケジューリングフレームワーク（IDBH）を開発し、頑健性を最適化する。
• CIFAR-10での実証的評価を行い、他のデータセットへ拡張する。
• 拡張に基づく改善を、敵対的訓練下の最先端正則化手法と比較する。

提案手法

• Padcropの多様な代替としてCropshiftを導入し、拡張の多様性を高める。
• 難易度と多様性を共同最適化する多段階拡張フレームワーク（flip、Cropshiftによるcrop、色/形、ドロップアウト）でIDBHを提案する。
• PGDベースの評価とAutoAttackを用いて、頑健性に対する難易度と多様性の影響を体系的に検討する。
• WRN34-1、WRN34-10、PRN18アーキテクチャでPGD10敵対的訓練とSWAを必要に応じて用いて拡張方式を評価する。
• ベースラインのFlip-Padcropと早期停止、および他の拡張（Cutout、Cutmix、AutoAugment）と比較する。
• 実装の再現性の詳細とコードアクセスを提供する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張だけで敵対訓練における頑健性の過剰適合を抑制できるか。
• RQ2 拡張の難易度と多様性は、クリーン精度と頑健精度にどのような影響を与えるか。
• RQ3 Cropshiftと提案するIDBHフレームワークは、追加データなしで最先端の頑健性と精度をもたらすか。
• RQ4 拡張はSWAやAWPといった正則化手法とどのように相互作用して頑健性を改善するか。

主な発見

• データ拡張だけで、敵対訓練における頑健性と精度を大幅に改善できることが、従来の信念に反して示された。
• 多様性は一般に精度と頑健性の両方を向上させる一方、難易度にはニュアンスのある影響があり、最適なバランスが最良の結果を生む。
• CropshiftはPadcropよりも高い多様性を提供し、精度と頑健性の両方を高める。
• IDBHは敵対訓練の拡張法の中で最先端の頑健性と精度を達成し、SWAと組み合わせた場合と特に競合する正規化手法と互角以上になる。
• 拡張の性能はモデル容量に依存し、最適な難易度設定はアーキテクチャによって異なり、最良のトレードオフのために調整可能である。
• IDBH内でPadcrop/CutoutをCropshift/Random Erasingに置換することで結果がさらに改善される；Cropshiftは性能向上の鍵となる。