[论文解读] Adversarial purification with Score-based generative models

Jongmin Yoon, Sung Ju Hwang+1 more|arXiv (Cornell University)|Jun 11, 2021

Adversarial Robustness in Machine Learning参考文献 46被引用 34

一句话总结

本文提出使用通过 denoising score-matching 训练的能量基模型进行对抗性净化，能够快速、鲁棒地净化被攻击的图像，并实现用于认证鲁棒性的随机噪声增强。

ABSTRACT

While adversarial training is considered as a standard defense method against adversarial attacks for image classifiers, adversarial purification, which purifies attacked images into clean images with a standalone purification model, has shown promises as an alternative defense method. Recently, an Energy-Based Model (EBM) trained with Markov-Chain Monte-Carlo (MCMC) has been highlighted as a purification model, where an attacked image is purified by running a long Markov-chain using the gradients of the EBM. Yet, the practicality of the adversarial purification using an EBM remains questionable because the number of MCMC steps required for such purification is too large. In this paper, we propose a novel adversarial purification method based on an EBM trained with Denoising Score-Matching (DSM). We show that an EBM trained with DSM can quickly purify attacked images within a few steps. We further introduce a simple yet effective randomized purification scheme that injects random noises into images before purification. This process screens the adversarial perturbations imposed on images by the random noises and brings the images to the regime where the EBM can denoise well. We show that our purification method is robust against various attacks and demonstrate its state-of-the-art performances.

研究动机与目标

• 将对抗性净化作为一种可行的防御手段来提出动机，与对抗性训练分离。
• 利用 denoising score matching 训练用于净化的分数基模型。
• 开发一个具有自适应步长的确定性更新净化方案。
• 通过引入随机噪声注入并展示通过随机平滑实现认证鲁棒性。
• 展示在标准数据集上对强自适应攻击实现的最先进性能。

提出的方法

• 使用 denoising score matching (dsm) 来训练能量基模型以学习用于净化的 score 函数。
• 使用多尺度的 Noise Conditional Score Network (NCSN) 以处理不同的扰动水平。
• 利用学习到的分数引导的确定性更新进行净化，而非 Langevin dynamics。
• 在净化前引入随机高斯噪声以提高鲁棒性并实现随机平滑。
• 在净化过程中自适应步长以确保在分数景观中的受控下降。
• 结合多次随机化净化运行并将输出进行集成以作最终预测。

实验结果

研究问题

• RQ1 使用 denoising score matching 训练的分数基模型是否能够比传统的基于 MCMC 的 EBMs 更快地净化对抗样本？
• RQ2 在净化前注入随机噪声是否在范数界定的威胁模型下带来认证鲁棒性？
• RQ3 与现有的对抗性净化方法相比，所提出的方法在对抗强自适应攻击时表现如何？
• RQ4 在净化速度和准确性方面，确定性净化更新是否优于随机 Langevin 动力学？
• RQ5 自适应步长是否能在不需要大量超参数调优的情况下改善净化稳定性？

主要发现

• 基于 dsm 的 EBMs 的确定性分数引导净化比以往的长时间运行的 MCMC 方法快得多。
• 在净化前加入随机高斯噪声可提升鲁棒性并实现随机平滑，在某些威胁模型下获得认证鲁棒性。
• 该方法在一系列自适应攻击下实现强鲁棒性，并在 CIFAR-10/100 及其他数据集上与现有对抗性净化和对抗性训练基线相比具备优势。
• 用 DSM 训练的多尺度分数网络 (NCSN) 提升了对不同攻击强度和数据扰动的净化效果。
• 自适应步长策略进一步稳定净化并在攻击下提高最终分类准确性。