[論文レビュー] AugMax: Adversarial Composition of Random Augmentations for Robust Training

Haotao Wang, Chaowei Xiao+4 more|arXiv (Cornell University)|Oct 26, 2021

Adversarial Robustness in Machine Learning参考文献 69被引用数 35

ひとこと要約

AugMaxはデータ拡張の多様性と難易度を敵対的に混合するランダムにサンプリングされた拡張を組み合わせることにより統合し、新規の DuBIN 正規化の助けを借りて、複数の汚損ベンチマークで最先端の堅牢性を達成する。

ABSTRACT

Data augmentation is a simple yet effective way to improve the robustness of deep neural networks (DNNs). Diversity and hardness are two complementary dimensions of data augmentation to achieve robustness. For example, AugMix explores random compositions of a diverse set of augmentations to enhance broader coverage, while adversarial training generates adversarially hard samples to spot the weakness. Motivated by this, we propose a data augmentation framework, termed AugMax, to unify the two aspects of diversity and hardness. AugMax first randomly samples multiple augmentation operators and then learns an adversarial mixture of the selected operators. Being a stronger form of data augmentation, AugMax leads to a significantly augmented input distribution which makes model training more challenging. To solve this problem, we further design a disentangled normalization module, termed DuBIN (Dual-Batch-and-Instance Normalization), that disentangles the instance-wise feature heterogeneity arising from AugMax. Experiments show that AugMax-DuBIN leads to significantly improved out-of-distribution robustness, outperforming prior arts by 3.03%, 3.49%, 1.82% and 0.71% on CIFAR10-C, CIFAR100-C, Tiny ImageNet-C and ImageNet-C. Codes and pretrained models are available: https://github.com/VITA-Group/AugMax.

研究の動機と目的

• 分布シフトや汚染に対して頑健な学習を動機づけるため、多様性（AugMix風の拡張）と難易度（敵対的混合）を組み合わせる。
• AugMaxを提案し、訓練損失を最大化する敵対的混合重みおよびパラメータを学習する。
• ベースライン拡張に対する利得を維持しつつ、加速された敵対戦略によって訓練の複雑さを低減する。
• AugMaxによって生じるインスタンスごとの特徴の不均質性を切り離す正規化モジュール DuBIN を導入する。

提案手法

• AugMixを拡張し、まず拡張演算子をランダムにサンプリングし、次に選択した演算子の敵対的混合（m, w）を学習する。
• augmentationパラメータに対する損失を最大化し、分類器パラメータを最小化するミニマックス目的を定式化する。
• wを w = softmax(p)として再パラメータ化し、微分可能な最適化を可能にする。
• 内側の最大化を効率的に解くために加速された敵対的攻撃法を用い、訓練オーバーヘッドを控えめに保つ。
• DuBIN（Dual Batch-and-Instance Normalization）を導入し、インスタンスレベルの不均質性を切り離す。並列のINブランチと、augmentationタイプごとにルーティングされるDuBNブランチを持つ。
• AugMax-DuBINを訓練し、CIFAR-10/100、Tiny ImageNet、ImageNetの汚損ベンチマークでAugMixおよびベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張における多様性と難易度を効果的に統合して、分布シフトや汚染に対する堅牢性を向上させることができるか。
• RQ2 AugMax のような敵対的混合拡張を学習することで、ランダムな拡張だけと比べて distribution外の堅牢性が改善されるか。
• RQ3 DuBIN という特化した正規化は、AugMaxを使用したときの特徴統計と堅牢性にどのように影響するか。

主な発見

• AugMax-DuBINはCIFAR10-CとCIFAR100-Cで新しい最先端の堅牢性を達成し、それぞれAugMixより3.03%および3.49%の改善を示した。
• Tiny ImageNet-CとImageNet-Cで、AugMax-DuBINはそれぞれAugMixより堅牢性を1.82%と0.71%改善した。
• ImageNetではAugMax訓練時間はAugMixの約1.5倍で、従来の敵対的訓練（約10倍遅い）と比較して費用対効果は有利です。
• AugMaxとDuBINの組み合わせは特徴量の分散を減らし、BN統計の取り扱いを改善して、堅牢性を高める。
• AugMax-DuBINはResNet18、WRN40-2、ResNeXt29を含む複数のデータセットとモデルにおいて、augmentationベースおよび adversarial training のベースラインを上回る。
• AugMax-DuBINとDeepAugmentを組み合わせると、ImageNet-CにおけるmCEが報告された比較で約0.71–0.82ポイント上回る可能性がある。