[论文解读] DiffSmooth: Certifiably Robust Learning via Diffusion Models and Local Smoothing

Jiawei Zhang, Zhong‐Zhu Chen+3 more|arXiv (Cornell University)|Aug 28, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

该论文提出 DiffSmooth，一种可认证鲁棒性的学习框架，结合基于扩散模型的对抗性净化与局部平滑，实现最先进的可认证鲁棒性。通过首先利用单次 DDPM 对扰动输入进行去噪，再应用局部平滑，DiffSmooth 提升了可认证准确率——在 ImageNet 上 ℓ₂ 半径为 1.5 时达到 53.0%，显著优于之前 SOTA 的 36.0%。

ABSTRACT

Diffusion models have been leveraged to perform adversarial purification and thus provide both empirical and certified robustness for a standard model. On the other hand, different robustly trained smoothed models have been studied to improve the certified robustness. Thus, it raises a natural question: Can diffusion model be used to achieve improved certified robustness on those robustly trained smoothed models? In this work, we first theoretically show that recovered instances by diffusion models are in the bounded neighborhood of the original instance with high probability; and the "one-shot" denoising diffusion probabilistic models (DDPM) can approximate the mean of the generated distribution of a continuous-time diffusion model, which approximates the original instance under mild conditions. Inspired by our analysis, we propose a certifiably robust pipeline DiffSmooth, which first performs adversarial purification via diffusion models and then maps the purified instances to a common region via a simple yet effective local smoothing strategy. We conduct extensive experiments on different datasets and show that DiffSmooth achieves SOTA-certified robustness compared with eight baselines. For instance, DiffSmooth improves the SOTA-certified accuracy from $36.0\%$ to $53.0\%$ under $\ell_2$ radius $1.5$ on ImageNet. The code is available at [https://github.com/javyduck/DiffSmooth].

研究动机与目标

• 解决现有基于扩散模型的防御方法在大扰动半径下的可认证鲁棒性有限的问题。
• 克服先前方法（如 DensePure）中多轮反向扩散带来的高计算成本。
• 通过利用扩散模型的去噪特性与局部平滑，提升平滑分类器的可认证鲁棒性。
• 为恢复实例的有界性以及通过单次 DDPM 近似原始输入提供理论依据。
• 开发一种实用且高效的流程，在保持高良性准确率的同时实现卓越的可认证鲁棒性。

提出的方法

• 使用预训练的 DDPM 进行单次去噪步骤，对对抗性或添加高斯噪声的输入进行净化，恢复出接近原始输入的去噪实例。
• 理论分析表明，在温和条件下，去噪输出以高概率位于原始输入的有界邻域内。
• 将恢复的实例作为输入，应用局部平滑策略，生成多个带噪声的变体，并通过一个鲁棒训练的平滑分类器进行分类。
• 对平滑分类器在局部扰动的去噪实例上的预测结果进行多数投票，以提供概率性认证。
• 优化局部平滑噪声的幅度（σ′）和平滑样本数量（m），以在不降低性能的前提下最大化可认证鲁棒性。
• 保持固定的预测查询次数（例如，在 ImageNet 上为 10,000 次），以确保与基线方法（如 DDS）的公平比较。

实验结果

研究问题

• RQ1 基于扩散的净化是否能提升平滑分类器在大扰动半径下的可认证鲁棒性？
• RQ2 将基于扩散的去噪与局部平滑结合，是否能比仅依赖扩散或随机平滑获得更好的可认证鲁棒性？
• RQ3 局部平滑噪声幅度（σ′）的选择如何影响可认证准确率与良性准确率？
• RQ4 单次 DDPM 近似能否有效恢复原始输入分布，从而实现鲁棒性认证？
• RQ5 该方法的计算瓶颈是由扩散步骤还是局部平滑步骤主导？

主要发现

• DiffSmooth 在 ImageNet 上 ℓ₂ 半径为 1.5 时实现 53.0% 的可认证准确率，显著优于之前 SOTA 的 36.0%。
• 在与 DDS 相同的计算成本（ImageNet 上 10,000 次预测查询）下，DiffSmooth 实现了更高的可认证鲁棒性与良性准确率。
• 仅使用 m=5 个局部平滑样本即可实现非平凡的可认证鲁棒性，表明该方法在扩散步骤之外也具有显著的计算效率。
• 该方法的性能对 σ′ 的选择敏感，最优值取决于底层平滑模型（例如，对于高斯平滑，σ′ ≈ σ；对于 SmoothAdv，σ′ ≈ σ/2）。
• 主要计算开销来自反向扩散步骤（在 ImageNet 上每张图像耗时 553 秒），而非计算量较轻的局部平滑步骤。
• 仅使用局部平滑无法提升可认证准确率，若 σ′ 过大甚至可能降低性能，验证了扩散净化步骤的必要性。