[论文解读] Diffusion Models for Adversarial Purification

Weili Nie, Brandon Guo+4 more|arXiv (Cornell University)|May 16, 2022

Adversarial Robustness in Machine Learning被引用 78

一句话总结

DiffPure 使用正向和反向扩散过程来净化对抗性图像，使得通过伴随梯度方法评估强自适应攻击成为可能，并在 CIFAR-10、ImageNet 和 CelebA-HQ 上实现最先进的鲁棒性。

ABSTRACT

Adversarial purification refers to a class of defense methods that remove adversarial perturbations using a generative model. These methods do not make assumptions on the form of attack and the classification model, and thus can defend pre-existing classifiers against unseen threats. However, their performance currently falls behind adversarial training methods. In this work, we propose DiffPure that uses diffusion models for adversarial purification: Given an adversarial example, we first diffuse it with a small amount of noise following a forward diffusion process, and then recover the clean image through a reverse generative process. To evaluate our method against strong adaptive attacks in an efficient and scalable way, we propose to use the adjoint method to compute full gradients of the reverse generative process. Extensive experiments on three image datasets including CIFAR-10, ImageNet and CelebA-HQ with three classifier architectures including ResNet, WideResNet and ViT demonstrate that our method achieves the state-of-the-art results, outperforming current adversarial training and adversarial purification methods, often by a large margin. Project page: https://diffpure.github.io.

研究动机与目标

• 在不对分类器重新训练的前提下，提出对未知对手的稳健防御的动机。
• 引入基于扩散的对抗性净化，在保持语义不变的同时去除扰动。
• 提供关于扩散时间步如何在净化与语义之间取得平衡的理论指导。
• 通过伴随方法实现高效梯度计算，以对抗强自适应攻击。
• 通过实证证明 DiffPure 在多个数据集和架构上实现了更优的鲁棒性。

提出的方法

• 对对抗性图像应用一个正向扩散步骤，添加少量噪声。
• 扩散至时间步 t*，在保持标签语义的同时去除局部扰动。
• 通过使用去噪模型从 t* 逆向求解 SDE 到 0，恢复净化后的图像。
• 使用伴随方法通过 SDE 反向传播梯度，以评估对抗自适应攻击的鲁棒性。
• 提供扩 diffusion 时间步对净化和语义影响的理论界限。
• 在 CIFAR-10、ImageNet、CelebA-HQ 的 ResNet、WideResNet 和 ViT 上，结合 AutoAttack 和 BPDA+EOT 进行评估。

实验结果

研究问题

• RQ1 在不假设攻击形式或分类器的前提下，扩散模型如何净化对抗性扰动？
• RQ2 平衡去除扰动与保持数据语义的最优扩 diffusion 时间步 t* 是多少？
• RQ3 基于伴随的梯度计算能否实现对强自适应攻击的稳健评估？
• RQ4 在多样数据集和架构上，基于扩散的净化是否实现了最先进的鲁棒性？
• RQ5 在未见威胁模型下，DiffPure 与对抗性训练及其他净化方法的对比如何？

主要发现

• DiffPure 实现了最先进的鲁棒性，在 CIFAR-10 的 AutoAttack ℓ∞ 上的对抗鲁棒性提升最多 5.44 个百分点，在 ImageNet 上提升最多 7.68 个百分点。
• 在 CIFAR-10 ℓ2 下，DiffPure 达到 78.58% 的鲁棒准确率（相比 ~），并在若干设置中超越了在无需额外数据的情况下的方法。
• DiffPure 在未见威胁下取得显著提升，相比有竞争力的未见威胁基线，鲁棒准确率提升高达 36%。
• 对抗 BPDA+EOT，DiffPure 实现了显著的鲁棒性提升（例如在 CIFAR-10 上 +11.31%，在 CelebA-HQ 上 +15.63%）。
• 对于 CelebA-HQ 和 CIFAR-10，在强自适应攻击下，基于扩散的净化在标准和鲁棒指标上均优于基于 ND 的生成净化器。
• 消融结果表明最优的 t* 较小且随威胁模型而异，随着 t* 增大，标准准确率下降，而鲁棒准确率在中间 t* 处达到峰值。