[论文解读] AugMax: Adversarial Composition of Random Augmentations for Robust Training

Haotao Wang, Chaowei Xiao+4 more|arXiv (Cornell University)|Oct 26, 2021

Adversarial Robustness in Machine Learning参考文献 69被引用 35

一句话总结

AugMax 将多样性与难度在数据增强中统一，通过对随机采样的增强进行对抗性混合，在新颖的 DuBIN 归一化的帮助下，在多个腐蚀基准上实现最先进的鲁棒性。

ABSTRACT

Data augmentation is a simple yet effective way to improve the robustness of deep neural networks (DNNs). Diversity and hardness are two complementary dimensions of data augmentation to achieve robustness. For example, AugMix explores random compositions of a diverse set of augmentations to enhance broader coverage, while adversarial training generates adversarially hard samples to spot the weakness. Motivated by this, we propose a data augmentation framework, termed AugMax, to unify the two aspects of diversity and hardness. AugMax first randomly samples multiple augmentation operators and then learns an adversarial mixture of the selected operators. Being a stronger form of data augmentation, AugMax leads to a significantly augmented input distribution which makes model training more challenging. To solve this problem, we further design a disentangled normalization module, termed DuBIN (Dual-Batch-and-Instance Normalization), that disentangles the instance-wise feature heterogeneity arising from AugMax. Experiments show that AugMax-DuBIN leads to significantly improved out-of-distribution robustness, outperforming prior arts by 3.03%, 3.49%, 1.82% and 0.71% on CIFAR10-C, CIFAR100-C, Tiny ImageNet-C and ImageNet-C. Codes and pretrained models are available: https://github.com/VITA-Group/AugMax.

研究动机与目标

• 在将多样性（AugMix 风格的增强）与难度（对抗性混合）相结合的情况下，驱动对分布偏移和腐蚀的鲁棒学习的动机。
• 提出 AugMax，以学习最大化训练损失的对抗混合权重与参数。
• 通过加速的对抗策略在保持相对于基线增强的收益的同时，降低训练复杂性。
• 引入归一化模块 DuBIN，以解耦由 AugMax 引起的实例级特征异质性。

提出的方法

• 在扩展 AugMix 的基础上，先随机采样增强算子，然后学习所选算子的对抗混合（m, w）。
• 形成一个极小极大目标，在最大化对增强参数的损失的同时，最小化分类器参数。
• 将 w 重新参数化为 w = softmax(p) 以实现可微分优化。
• 使用加速的对抗攻击方法高效求解内部极大化，保持训练开销在可控范围内。
• 引入 DuBIN（Dual Batch-and-Instance Normalization）以解耦实例级异质性，设有并行的 IN 分支和按增强类型路由的 DuBN 分支。
• 在 CIFAR-10/100、Tiny ImageNet 与 ImageNet 的腐蚀基准上对 AugMax-DuBIN 进行训练并与 AugMix 及基线进行比较。

实验结果

研究问题

• RQ1 是否能够有效地将数据增强中的多样性与难度统一，以提升对分布偏移和腐蚀的鲁棒性？
• RQ2 相比于单纯的随机增强，学习一个对抗性混合的增强（AugMax）是否能带来更好的分布外鲁棒性？
• RQ3 在使用 AugMax 时，专门化归一化（DuBIN）如何影响特征统计与鲁棒性？

主要发现

• AugMax-DuBIN 在 CIFAR10-C 和 CIFAR100-C 上达到新的最先进鲁棒性，分别比 AugMix 提升了 3.03% 和 3.49%。
• 在 Tiny ImageNet-C 和 ImageNet-C 上，AugMax-DuBIN 相较于 AugMix 提升鲁棒性分别为 1.82% 和 0.71%。
• AugMax 的训练时间约为 ImageNet 上的 AugMix 的 1.5 倍，相对于传统对抗训练（约慢十倍）具有更有利的效率比。
• 将 AugMax 与 DuBIN 结合可降低特征方差并改善 BN 统计处理，从而实现更好的鲁棒性。
• AugMax-DuBIN 在多个数据集和模型上超越了基于增强和对抗训练的基线，包括 ResNet18、WRN40-2 和 ResNeXt29。
• 在 ImageNet-C 的比较中，AugMax-DuBIN 与 DeepAugment 的结合在报告的 mCE 上比 DeepAugment + AugMix 提高约 0.71–0.82 点。