[论文解读] Better Diffusion Models Further Improve Adversarial Training

Zekai Wang, Tianyu Pang+4 more|arXiv (Cornell University)|Feb 9, 2023

Adversarial Robustness in Machine Learning被引用 53

一句话总结

本论文表明，使用最新扩 diffusion 模型 EDM 生成训练数据，显著提升对抗训练，在 RobustBench 上达到最先进的鲁棒性准确率且无需外部数据。

ABSTRACT

It has been recognized that the data generated by the denoising diffusion probabilistic model (DDPM) improves adversarial training. After two years of rapid development in diffusion models, a question naturally arises: can better diffusion models further improve adversarial training? This paper gives an affirmative answer by employing the most recent diffusion model which has higher efficiency ($\sim 20$ sampling steps) and image quality (lower FID score) compared with DDPM. Our adversarially trained models achieve state-of-the-art performance on RobustBench using only generated data (no external datasets). Under the $\ell_\infty$-norm threat model with $ε=8/255$, our models achieve $70.69\%$ and $42.67\%$ robust accuracy on CIFAR-10 and CIFAR-100, respectively, i.e. improving upon previous state-of-the-art models by $+4.58\%$ and $+8.03\%$. Under the $\ell_2$-norm threat model with $ε=128/255$, our models achieve $84.86\%$ on CIFAR-10 ($+4.44\%$). These results also beat previous works that use external data. We also provide compelling results on the SVHN and TinyImageNet datasets. Our code is available at https://github.com/wzekai99/DM-Improves-AT.

研究动机与目标

• 证明更高质量的扩散模型（EDM）在没有外部数据的情况下提升对抗训练的性能。
• 量化生成数据的数量、质量和训练策略对鲁棒性与干净准确性的影响。
• 分析对早停、数据增强和采样步长的消融研究，以理解鲁棒性机制。

提出的方法

• 在对抗训练中用类条件 EDM 生成的数据替换 DDPM 生成的数据。
• 采用 TRADES 作为对抗训练框架，并针对不同数据集调优 beta 值。
• 使用 EDM 生成 1M–50M 张图像，按类别选择得分最高的样本，或在生成大量数据时使用全部数据。
• 使用 AutoAttack 评估鲁棒性，并在多种威胁模型下报告干净准确度。
• 对数据量、早停、数据增强、批量大小和采样步数进行大量消融分析。

实验结果

研究问题

• RQ1 在无外部数据的对抗训练中，结合 EDM 生成的数据是否能超越基于 DDPM 的数据，从而提升鲁棒性准确率？
• RQ2 数据量、早停与数据增强如何与 EDM 生成的数据相互作用，影响鲁棒性？
• RQ3 类条件扩散数据与无条件扩散数据对对抗训练性能的影响如何？
• RQ4 扩散采样步数（及由此产生的 FID）如何影响鲁棒性与干净准确度？

主要发现

• EDM 生成的数据在不使用外部数据的情况下，在 CIFAR-10/ CIFAR-100 的 l_infinity 和 l2 威胁模型下实现最先进的鲁棒准确率。
• 对于 CIFAR-10 在 (l_infinity, epsilon=8/255) 下，WRN-70-16 使用 50M 生成图像达到 70.69% 鲁棒准确性和 93.25% 干净准确性。
• 对于 CIFAR-10 在 (l2, epsilon=128/255) 下，最佳模型达到 84.86% 鲁棒性和 95.54% 干净准确性。
• 在 CIFAR-100 的 (l_infinity, 8/255) 下，最佳模型达到 42.67% 鲁棒性和 75.22% 干净准确性，超过了无需外部数据的先前 SOTA。
• EDM 生成的数据有助于消除鲁棒性过拟合，并缩小相对于 DDPM 基线或无生成数据基线的鲁棒性-泛化差距。
• 以低 FID 的类条件生成（例如 20 个采样步）在所有数据集上都带来最佳性能。