[论文解读] Improving Robustness using Generated Data

Sven Gowal, Sylvestre-Alvise Rebuffi+4 more|ArXiv.org|Oct 18, 2021

Adversarial Robustness in Machine Learning参考文献 80被引用 4

一句话总结

本文提出一种方法，通过仅使用原始训练集训练的生成模型生成合成数据，来提升深度神经网络的对抗鲁棒性，而无需依赖外部数据集。通过在对抗训练中结合生成数据与真实数据，该方法在 ℓ∞ 逼近（ε=8/255）下于 CIFAR-10 上实现了 66.10% 的最先进鲁棒准确率，超越了此前使用外部数据（如 80 Million Tiny Images）的方法。

ABSTRACT

Recent work argues that robust training requires substantially larger datasets than those required for standard classification. On CIFAR-10 and CIFAR-100, this translates into a sizable robust-accuracy gap between models trained solely on data from the original training set and those trained with additional data extracted from the "80 Million Tiny Images" dataset (TI-80M). In this paper, we explore how generative models trained solely on the original training set can be leveraged to artificially increase the size of the original training set and improve adversarial robustness to $\ell_p$ norm-bounded perturbations. We identify the sufficient conditions under which incorporating additional generated data can improve robustness, and demonstrate that it is possible to significantly reduce the robust-accuracy gap to models trained with additional real data. Surprisingly, we even show that even the addition of non-realistic random data (generated by Gaussian sampling) can improve robustness. We evaluate our approach on CIFAR-10, CIFAR-100, SVHN and TinyImageNet against $\ell_\infty$ and $\ell_2$ norm-bounded perturbations of size $ε= 8/255$ and $ε= 128/255$, respectively. We show large absolute improvements in robust accuracy compared to previous state-of-the-art methods. Against $\ell_\infty$ norm-bounded perturbations of size $ε= 8/255$, our models achieve 66.10% and 33.49% robust accuracy on CIFAR-10 and CIFAR-100, respectively (improving upon the state-of-the-art by +8.96% and +3.29%). Against $\ell_2$ norm-bounded perturbations of size $ε= 128/255$, our model achieves 78.31% on CIFAR-10 (+3.81%). These results beat most prior works that use external data.

研究动机与目标

• 为解决在无法获取或存在问题的外部数据情况下，使用与不使用外部数据训练的模型之间鲁棒准确率的差距。
• 探究即使来自低质量或随机来源的生成数据，是否也能提升对抗鲁棒性。
• 证明仅在原始数据集上训练的生成模型可有效增强训练数据以提升鲁棒性，同时不损害隐私或无需外部数据。
• 为生成数据为何以及在何种条件下能提升鲁棒性，提供理论与实证依据。

提出的方法

• 仅在原始训练数据上训练生成模型（如 DDPM、StyleGAN2、BigGAN、VDVAE），以生成合成样本。
• 在原始数据上训练一个非鲁棒分类器，并利用其为生成样本分配伪标签。
• 将原始训练数据与伪标签化的生成数据合并，形成混合训练分布。
• 在组合数据集上使用对抗训练（如基于 PGD 的方法）训练鲁棒分类器，并采用真实数据与生成数据的加权混合。
• 使用混合因子 α 控制训练混合中生成数据的比例，以平衡真实感与多样性。
• 通过理论证明：若生成模型覆盖真实数据分布，且非鲁棒分类器在真实与生成数据上均具有良好泛化能力，则鲁棒目标可被最小化。

实验结果

研究问题

• RQ1 仅在原始数据集上训练的生成模型所生成的数据，是否能提升对抗鲁棒性？
• RQ2 生成数据的质量（如随机生成与 DDPM 生成）是否显著影响鲁棒性提升？
• RQ3 即使非真实、随机采样的数据是否也能提升鲁棒性？若能，其适用条件为何？
• RQ4 是否可能仅使用原始数据与生成技术，达到或超越使用外部数据集（如 80M-Ti）训练的模型性能？
• RQ5 在何种理论条件下，引入生成数据可确保鲁棒性提升？

主要发现

• 所提方法在 CIFAR-10 上于 ℓ∞ 逼近（ε=8/255）下实现 66.10% 的鲁棒准确率，相较于此前无需外部数据的最先进方法提升了 8.96%。
• 即使使用高斯分布随机采样的输入（基于对训练数据的条件拟合），Wide ResNet-28-10 的鲁棒准确率仍提升 0.93%，表明多样性与分布覆盖比真实感更为关键。
• 在 Inception 特征空间中，DDPM 生成的样本最接近真实数据分布，因此在提升鲁棒性方面最为有效。
• 该方法优于所有使用外部数据的先前方法，包括使用 80 Million Tiny Images 数据集的方法，后者因包含不当内容已被撤下。
• 通过仅在原始数据上训练生成模型，该方法避免了外部数据集带来的隐私与伦理风险。
• 理论分析表明，若生成模型覆盖真实数据分布，且非鲁棒分类器在真实与生成数据上均具有良好泛化能力，则鲁棒性提升可被保证。