[论文解读] Efficient and Effective Augmentation Strategy for Adversarial Training

Sravanti Addepalli, Samyak Jain+1 more|arXiv (Cornell University)|Oct 27, 2022

Adversarial Robustness in Machine Learning被引用 11

一句话总结

本文提出 DAJAT，一种用于对抗训练的新型数据增强策略，通过使用独立的批量归一化层并结合 Jensen-Shannon 散度损失来引导学习，将简单和复杂的增强方法相结合。通过将上升约束对抗训练（ACAT）与两步攻击及增加 epsilon 的策略结合，DAJAT 在 CIFAR-10、CIFAR-100 和 ImageNette 上实现了最先进的鲁棒性-准确率权衡，其在 ResNet-18 和 WideResNet-34-10 上的表现优于 RobustBench 基准测试平台上的现有方法。

ABSTRACT

Adversarial training of Deep Neural Networks is known to be significantly more data-hungry when compared to standard training. Furthermore, complex data augmentations such as AutoAugment, which have led to substantial gains in standard training of image classifiers, have not been successful with Adversarial Training. We first explain this contrasting behavior by viewing augmentation during training as a problem of domain generalization, and further propose Diverse Augmentation-based Joint Adversarial Training (DAJAT) to use data augmentations effectively in adversarial training. We aim to handle the conflicting goals of enhancing the diversity of the training dataset and training with data that is close to the test distribution by using a combination of simple and complex augmentations with separate batch normalization layers during training. We further utilize the popular Jensen-Shannon divergence loss to encourage the joint learning of the diverse augmentations, thereby allowing simple augmentations to guide the learning of complex ones. Lastly, to improve the computational efficiency of the proposed method, we propose and utilize a two-step defense, Ascending Constraint Adversarial Training (ACAT), that uses an increasing epsilon schedule and weight-space smoothing to prevent gradient masking. The proposed method DAJAT achieves substantially better robustness-accuracy trade-off when compared to existing methods on the RobustBench Leaderboard on ResNet-18 and WideResNet-34-10. The code for implementing DAJAT is available here: https://github.com/val-iisc/DAJAT.

研究动机与目标

• 为解决复杂数据增强（如 AutoAugment）在对抗训练中表现不佳的问题，尽管其在标准训练中表现优异。
• 解决在对抗训练中提升数据多样性与保持与测试数据分布对齐之间的矛盾。
• 开发一种高效、可扩展的方法，避免梯度遮蔽，同时提升鲁棒性与准确率。
• 通过与简单增强方法联合学习，实现在低数据场景下有效利用复杂增强方法。
• 以最小的计算成本，在标准与鲁棒性基准测试中实现最先进性能。

提出的方法

• 提出基于多样化增强的联合对抗训练（DAJAT），通过使用独立的批量归一化层，在简单和复杂增强上同时进行训练，以解耦分布目标与多样性目标。
• 引入不同增强方法的 softmax 输出之间的 Jensen-Shannon 散度损失，使简单增强能够引导复杂增强的学习。
• 采用带有线性递增 epsilon 策略和权重空间平滑的上升约束对抗训练（ACAT），以防止梯度遮蔽并提升训练稳定性。
• 在训练中使用两步 PGD 攻击而非 10 步，以降低计算成本，同时保持鲁棒性。
• 应用余弦学习率调度和权重空间平滑，以增强收敛性与泛化能力。
• 将 DAJAT 与现有方法（如 OAAT、AWP 和 HAT）结合，展示了在不同架构与数据集上的一致性能提升。

实验结果

研究问题

• RQ1 为何像 AutoAugment 这类强增强方法在标准训练中表现优异，却在对抗训练中表现不佳？
• RQ2 若能妥善管理训练动态，复杂数据增强是否可在对抗训练中被有效利用？
• RQ3 如何在对抗训练中联合优化数据增强的多样性与测试分布对齐？
• RQ4 是否可以设计一种轻量、高效的防御策略，在提升鲁棒性与准确率的同时防止梯度遮蔽？
• RQ5 在数据量有限的场景下，DAJAT 能在多大程度上提升性能，而此时数据增强尤为重要？

主要发现

• 在使用 ResNet-18 的情况下，DAJAT 在 RobustBench 基准测试平台上的 CIFAR-100 上实现了最先进的鲁棒准确率，优于所有先前方法。
• 在 CIFAR-100 上，DAJAT 与 OAAT 结合后，相比单独使用 OAAT，干净准确率和对抗准确率分别提高了约 1.5%，且在 ε=16/255 的 AutoAttack 下进一步提升。
• 与 HAT 结合时，DAJAT 在 CIFAR-100 上使干净准确率提升 3–5%，鲁棒准确率提升约 3%；在 CIFAR-10 上分别提升约 1% 和 2%。
• 损失曲面图证实了损失曲面平滑，表明不存在梯度遮蔽，且梯度可靠。
• 黑盒攻击与多步攻击验证了鲁棒性，准确率在 1000 步后趋于饱和，且在 1000 次随机重启下仅出现微小下降，验证了评估的可靠性。
• ACAT 搭配两步 PGD 与递增 epsilon 策略在降低计算成本的同时保持了强劲性能，证明了其高效性且未牺牲鲁棒性。