[论文解读] Data Augmentation Can Improve Robustness

Sylvestre-Alvise Rebuffi, Sven Gowal+4 more|arXiv (Cornell University)|Nov 9, 2021

Adversarial Robustness in Machine Learning被引用 13

一句话总结

该论文表明，将数据增强（尤其是CutMix）与模型权重平均相结合，可显著提升CIFAR-10在ℓ∞扰动ε=8/255下的对抗鲁棒性，达到60.07%的鲁棒准确率，相比之前无需外部数据的最先进方法绝对提升2.93%。该方法通过减少鲁棒过拟合，并在训练过程中有效集成多样化、高性能的模型快照，实现性能提升。

ABSTRACT

Adversarial training suffers from robust overfitting, a phenomenon where the robust test accuracy starts to decrease during training. In this paper, we focus on reducing robust overfitting by using common data augmentation schemes. We demonstrate that, contrary to previous findings, when combined with model weight averaging, data augmentation can significantly boost robust accuracy. Furthermore, we compare various augmentations techniques and observe that spatial composition techniques work the best for adversarial training. Finally, we evaluate our approach on CIFAR-10 against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $ε= 8/255$ and $ε= 128/255$, respectively. We show large absolute improvements of +2.93% and +2.16% in robust accuracy compared to previous state-of-the-art methods. In particular, against $\ell_\infty$ norm-bounded perturbations of size $ε= 8/255$, our model reaches 60.07% robust accuracy without using any external data. We also achieve a significant performance boost with this approach while using other architectures and datasets such as CIFAR-100, SVHN and TinyImageNet.

研究动机与目标

• 解决先前研究中数据增强在对抗训练中未能提升鲁棒性，尽管其在标准训练中表现成功这一矛盾。
• 探究当与模型权重平均结合时，数据增强是否能增强鲁棒性，特别是缓解鲁棒过拟合问题。
• 识别在对抗训练中最有效的数据增强技术，并理解其性能提升的内在机制。
• 评估所提方法在不同架构、数据集（如CIFAR-100、SVHN、TinyImageNet）以及威胁模型（ℓ∞和ℓ2扰动）下的泛化能力。

提出的方法

• 作者将Cutout、CutMix和MixUp等数据增强技术与模型权重平均（WA）结合，以提升鲁棒泛化能力。
• 使用PGD攻击进行对抗训练，并在训练过程中收集的模型快照上应用权重平均，以构建集成模型。
• 该方法利用权重平均在局部线性假设下近似模型集成的特性，从而高效集成多样化模型状态。
• 选择CutMix作为主要增强方法，因其能有效减少鲁棒过拟合并促进模型快照间个体预测的多样性。
• 训练过程包含学习率调度和早停策略，以平衡鲁棒性与泛化性能，并对权重平均衰减率进行消融研究。
• 通过AutoAttack在多个数据集和架构上评估ℓ∞和ℓ2范数有界扰动下的鲁棒性。

实验结果

研究问题

• RQ1 当与模型权重平均结合时，数据增强是否能改善对抗鲁棒性，从而与先前发现相悖？
• RQ2 为何空间组合技术（如CutMix）在对抗训练中优于MixUp等其他增强方法？
• RQ3 模型权重平均如何利用模型快照的多样性来提升鲁棒性？
• RQ4 鲁棒过拟合与欠拟合之间的权衡是什么？它如何影响不同增强方法下权重平均的性能？
• RQ5 所提方法是否能在CIFAR-10之外的其他架构和数据集中泛化？

主要发现

• CutMix与模型权重平均结合在CIFAR-10上对ℓ∞扰动ε=8/255的鲁棒准确率达到60.07%，相比之前最先进方法绝对提升2.93%。
• 该方法在CIFAR-10上对ℓ2扰动ε=128/255的鲁棒准确率提升2.16%，表明其在不同威胁模型下的泛化能力。
• 使用CutMix训练的模型快照在个体预测上表现出高度多样性（例如，平均每张快照有约888个不同错误），同时保持相似的总体鲁棒准确率，从而通过权重平均实现有效集成。
• 与Pad & Crop相比，权重平均在CutMix上的表现更优，峰值达到τ=0.9925，表明当多样性较低时，鲁棒过拟合会限制性能提升。
• 该方法可泛化至其他数据集：在CIFAR-100、SVHN和TinyImageNet上，采用相同训练设置即可达到最先进或接近最先进性能。
• 实证结果表明，能减少鲁棒过拟合的数据增强方法（如CutMix）会产生更具多样性的模型快照，而权重平均可有效利用这些多样性以提升鲁棒性。