[论文解读] Defending against Adversarial Audio via Diffusion Model

Shutong Wu, Jiongxiao Wang+3 more|arXiv (Cornell University)|Mar 2, 2023

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出 AudioPure，一种即插即用的音频分类系统防御方法，利用预训练的波形扩散模型通过加噪并反向扩散过程来净化对抗性音频，从而恢复干净音频。该方法在多种 $β$-范数有界的对抗攻击下实现了最先进（SOTA）的鲁棒准确率——相比基线方法最高提升20%，并通过随机平滑实现了优越的认证鲁棒性。

ABSTRACT

Deep learning models have been widely used in commercial acoustic systems in recent years. However, adversarial audio examples can cause abnormal behaviors for those acoustic systems, while being hard for humans to perceive. Various methods, such as transformation-based defenses and adversarial training, have been proposed to protect acoustic systems from adversarial attacks, but they are less effective against adaptive attacks. Furthermore, directly applying the methods from the image domain can lead to suboptimal results because of the unique properties of audio data. In this paper, we propose an adversarial purification-based defense pipeline, AudioPure, for acoustic systems via off-the-shelf diffusion models. Taking advantage of the strong generation ability of diffusion models, AudioPure first adds a small amount of noise to the adversarial audio and then runs the reverse sampling step to purify the noisy audio and recover clean audio. AudioPure is a plug-and-play method that can be directly applied to any pretrained classifier without any fine-tuning or re-training. We conduct extensive experiments on speech command recognition task to evaluate the robustness of AudioPure. Our method is effective against diverse adversarial attacks (e.g. $\mathcal{L}_2$ or $\mathcal{L}_\infty$-norm). It outperforms the existing methods under both strong adaptive white-box and black-box attacks bounded by $\mathcal{L}_2$ or $\mathcal{L}_\infty$-norm (up to +20\% in robust accuracy). Besides, we also evaluate the certified robustness for perturbations bounded by $\mathcal{L}_2$-norm via randomized smoothing. Our pipeline achieves a higher certified accuracy than baselines.

研究动机与目标

• 解决基于深度学习的声学系统对难以察觉的对抗性音频扰动的脆弱性问题。
• 开发一种无需对抗性微调或模型微调即可在多种对抗攻击中泛化的防御方法。
• 将图像领域中表现优异的扩散模型适配至音频净化任务，克服输入长度可变和表征敏感性等领域特异性挑战。
• 在强自适应攻击、黑盒攻击及EOT攻击下评估鲁棒性，并通过随机平滑建立认证鲁棒性。

提出的方法

• AudioPure 使用预训练的波形扩散模型，通过先加噪再执行截断反向采样过程，对对抗性音频输入进行净化以恢复干净音频。
• 该方法作为即插即用的流水线运行，无需对下游分类器进行微调或重新训练。
• 其利用扩散模型强大的生成能力，在抑制对抗性扰动的同时保留语义内容。
• 该防御在语音命令识别任务上，针对 $β$-范数和 $∞$-范数有界的攻击（包括自适应和黑盒攻击）进行了评估。
• 通过随机平滑评估认证鲁棒性，噪声水平 $σ = \{0.5, 1.0\}$，为提高效率采用单次去噪。
• AudioPure 与基线方法（包括对抗性训练、基于变换的防御以及基于谱图表示的扩散方法）进行了对比。

实验结果

研究问题

• RQ1 能否在不微调分类器的前提下，有效将预训练的扩散模型适配至对抗性音频防御？
• RQ2 与基于谱图的扩散模型相比，基于波形的扩散模型在鲁棒性与干净准确率方面表现如何？
• RQ3 在强自适应攻击与黑盒攻击下，AudioPure 是否优于现有防御方法？
• RQ4 通过随机平滑评估时，AudioPure 是否能提供高于基线的认证鲁棒性？
• RQ5 音频表示方式（波形 vs. 谱图）对基于扩散模型的净化性能有何影响？

主要发现

• 在 $β$-范数和 $∞$-范数有界的对抗攻击下，包括强自适应和黑盒攻击，AudioPure 的鲁棒准确率相比现有方法最高提升20%。
• 尽管 DiffSpec 在干净准确率上更高，但在 $β$-范数攻击下，基于波形的扩散模型（DiffWave）比基于谱图的模型（DiffSpec）在鲁棒准确率上高出35%。
• 在所有测试的噪声水平下，AudioPure 的认证鲁棒准确率均高于 RS-Vanilla 和 RS-Gaussian 基线方法，在 $σ = 0.5$ 时达到13%的认证准确率，对应半径1.50。
• 即使在大扰动下，该方法仍保持强劲性能，随着扰动半径增大，其认证准确率下降速度慢于基线方法。
• 消融研究证实，直接将图像领域扩散模型应用于谱图会导致次优结果，原因在于信息压缩与固定大小输入的限制。
• AudioPure 展现出通用适用性，作为即插即用的防御方法，可适配多种分类器架构，且无需模型微调。