[论文解读] Fixing Data Augmentation to Improve Adversarial Robustness

Sylvestre-Alvise Rebuffi, Sven Gowal+4 more|arXiv (Cornell University)|Mar 2, 2021

Adversarial Robustness in Machine Learning参考文献 72被引用 104

一句话总结

该论文显示，将基于启发式的增强与数据驱动的增强结合，并使用模型权重平均（WA）显著提高在 CIFAR-10 的对抗鲁棒性，在不使用外部数据的情况下，对 l-infinity 8/255 的鲁棒准确率达到 64.20%，对 l2 128/255 的鲁棒准确率达到 80.38%。

ABSTRACT

Adversarial training suffers from robust overfitting, a phenomenon where the robust test accuracy starts to decrease during training. In this paper, we focus on both heuristics-driven and data-driven augmentations as a means to reduce robust overfitting. First, we demonstrate that, contrary to previous findings, when combined with model weight averaging, data augmentation can significantly boost robust accuracy. Second, we explore how state-of-the-art generative models can be leveraged to artificially increase the size of the training set and further improve adversarial robustness. Finally, we evaluate our approach on CIFAR-10 against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $ε= 8/255$ and $ε= 128/255$, respectively. We show large absolute improvements of +7.06% and +5.88% in robust accuracy compared to previous state-of-the-art methods. In particular, against $\ell_\infty$ norm-bounded perturbations of size $ε= 8/255$, our model reaches 64.20% robust accuracy without using any external data, beating most prior works that use external data.

研究动机与目标

• 调查对抗训练中的鲁棒过拟合及模型权重平均（WA）的作用。
• 评估在与 WA 结合时，基于启发式的增强（如 MixUp、CutMix、Cutout）是否能提升鲁棒性。
• 评估使用生成模型的数据驱动增强来扩展有效训练集，在没有外部数据的情况下。
• 探索数据驱动与启发式增强的组合是否产生叠加的鲁棒性提升。

提出的方法

• 使用 TRADES，针对 CIFAR-10 的对抗训练采用 10 步 PGD。
• 将基于启发式的增强（MixUp、Cutout、CutMix、RICAP）与 WA 相结合，并与 padding/cropping 基线进行比较。
• 纳入仅在原始数据上训练的生成模型（DDPM、VDVAE、BigGAN）产生的数据驱动增强。
• 在每个批次中调整原始数据与生成数据的比例，以最大化验证集上的鲁棒性。
• 针对 AutoAttack 和 MultiTargeted 进行鲁棒性评估，报告 l-infinity（epsilon=8/255）和 l2（epsilon=128/255）的鲁棒准确率。
• 分析 DDPM，尤其是如何提供最接近测试分布的样本，以及与 CutMix 结合如何改进结果。

实验结果

研究问题

• RQ1 当对鲁棒过拟合得到控制或不存在时，模型权重平均（WA）能否提升鲁棒性？
• RQ2 在与 WA 结合时，基于启发式的增强（MixUp、CutMix、Cutout）是否能提升对抗训练中的鲁棒准确率？
• RQ3 来自生成模型的数据驱动增强是否在没有外部数据的情况下提升对抗鲁棒性，哪些模型最有效？
• RQ4 启发式和数据驱动增强是否互补，二者结合是否比任一单独使用获得更高的鲁棒准确率？

主要发现

• 使用 WA 的数据增强带来鲁棒准确率提升，这与此前一些观点认为超出 padding-and-cropping 的增强无效的说法相矛盾。
• 与 WA 结合的 CutMix 在 CIFAR-10 的 l-infinity 8/255 下实现 60.07% 鲁棒准确率（在同一体系下高于 MixUp 或 Cutout）。
• DDPM 生成的数据（仅在原始数据上训练）显著提升鲁棒性，在无外部数据的情况下实现 63.58% 的 l-infinity 8/255 鲁棒准确率。
• 将 CutMix 与 DDPM 生成数据结合，创造了新的 state-of-the-art：CIFAR-10 的 l-infinity 8/255 鲁棒准确率 64.20%，l2 128/255 鲁棒准确率 80.38%，且无外部数据。
• 使用外部数据（80M-Ti 的 500k 图像）时，鲁棒性进一步提高（例如大模型下 l-infinity 为 66.56%）。
• DDPM 模型的生成数据在提升鲁棒性方面可能优于其他来源的生成数据，特别是在没有外部数据的情况下。