[论文解读] Data Augmentation Alone Can Improve Adversarial Training

Lin Li, Michael Spratling|arXiv (Cornell University)|Jan 24, 2023

Adversarial Robustness in Machine Learning被引用 9

一句话总结

论文表明数据增强本身经过精心设计以实现多样性和难度（通过 Cropshift 和 IDBH 框架），在对抗性训练中可显著提升准确性和鲁棒性，超越使用早停的基线增强，并且在与权重平均结合时达到或超过当代正则化方法的效果。

ABSTRACT

Adversarial training suffers from the issue of robust overfitting, which seriously impairs its generalization performance. Data augmentation, which is effective at preventing overfitting in standard training, has been observed by many previous works to be ineffective in mitigating overfitting in adversarial training. This work proves that, contrary to previous findings, data augmentation alone can significantly boost accuracy and robustness in adversarial training. We find that the hardness and the diversity of data augmentation are important factors in combating robust overfitting. In general, diversity can improve both accuracy and robustness, while hardness can boost robustness at the cost of accuracy within a certain limit and degrade them both over that limit. To mitigate robust overfitting, we first propose a new crop transformation, Cropshift, which has improved diversity compared to the conventional one (Padcrop). We then propose a new data augmentation scheme, based on Cropshift, with much improved diversity and well-balanced hardness. Empirically, our augmentation method achieves the state-of-the-art accuracy and robustness for data augmentations in adversarial training. Furthermore, when combined with weight averaging it matches, or even exceeds, the performance of the best contemporary regularization methods for alleviating robust overfitting. Code is available at: https://github.com/TreeLLi/DA-Alone-Improves-AT.

研究动机与目标

• 研究对抗性训练中的鲁棒性过拟合导致的鲁棒性下降。
• 评估增强的难度和多样性如何影响准确性与鲁棒性。
• 开发新的增强技术（Cropshift）和调度框架（IDBH），以优化鲁棒性。
• 在 CIFAR-10 上对增强策略进行经验评估并扩展到其他数据集。
• 在对抗性训练下，将基于增强的改进与最先进的正则化方法进行比较。

提出的方法

• 将 Cropshift 作为 Padcrop 的多样化替代品引入，以增加增强多样性。
• 提出 IDBH，这是一个多层增强框架（翻转、通过 Cropshift 的裁剪、颜色/形状、失活），并共同优化难度和多样性。
• 使用基于 PGD 的评估和 AutoAttack，系统研究难度和多样性对鲁棒性的影响。
• 在 WRN34-1、WRN34-10 和 PRN18 架构上进行评估，采用 PGD10 对抗性训练，并在需要时使用 SWA。
• 与基线的 Flip-Padcrop（含早停）以及其他增强（Cutout、Cutmix、AutoAugment）进行比较。
• 提供可重复性细节和实现的代码获取方式。

实验结果

研究问题

• RQ1 数据增强单独是否能缓解对抗性训练中的鲁棒性过拟合？
• RQ2 增强的难度和多样性如何影响在对抗性训练下的干净准确性和鲁棒准确性？
• RQ3 Cropshift 和提出的 IDBH 框架是否在不额外数据的情况下实现最先进的鲁棒性和准确性？
• RQ4 在提升鲁棒性时，增强与像 SWA 和 AWP 这样的正则化技术之间有何交互？

主要发现

• 数据增强本身可以显著提高对抗性训练中的鲁棒性和准确性，与以往的观点相反。
• 多样性通常同时提升准确性和鲁棒性，而难度具有微妙的影响，达到最佳平衡时效果最好。
• Cropshift 提供比 Padcrop 更高的多样性，提升了准确性和鲁棒性。
• IDBH 在对抗性训练的增强方法中实现了最先进的鲁棒性和准确性，且可与当代正则化方法比肩，尤其与 SWA 结合时。
• 增强的性能取决于模型容量；最佳的难度设置随架构而异，并且可以调整以取得最佳权衡。
• 在 IDBH 中用 Cropshift/Random Erasing 代替 Padcrop/Cutout 可进一步提升结果；Cropshift 对性能提升至关重要。