[论文解读] Intriguing Properties of Diffusion Models: An Empirical Study of the Natural Attack Capability in Text-to-Image Generative Models

Takami Sato, Justin Yue+3 more|arXiv (Cornell University)|Aug 30, 2023

Generative Adversarial Networks and Image SynthesisComputer Science被引用 3

一句话总结

本文识别出文本到图像扩散模型中一种新颖的自然攻击能力，称为自然去噪扩散（NDD）攻击，即提示词移除了人类感知所依赖的关键鲁棒特征（如颜色、形状）后，模型仍能生成可欺骗深度神经网络（DNN）目标检测器的图像。NDD 攻击在模型中实现了 88% 的检测率，同时对 93% 的人类受试者保持隐蔽性，揭示了扩散模型嵌入的非鲁棒特征可实现有效、模型无关且可迁移的对抗性攻击。

ABSTRACT

Denoising probabilistic diffusion models have shown breakthrough performance to generate more photo-realistic images or human-level illustrations than the prior models such as GANs. This high image-generation capability has stimulated the creation of many downstream applications in various areas. However, we find that this technology is actually a double-edged sword: We identify a new type of attack, called the Natural Denoising Diffusion (NDD) attack based on the finding that state-of-the-art deep neural network (DNN) models still hold their prediction even if we intentionally remove their robust features, which are essential to the human visual system (HVS), through text prompts. The NDD attack shows a significantly high capability to generate low-cost, model-agnostic, and transferable adversarial attacks by exploiting the natural attack capability in diffusion models. To systematically evaluate the risk of the NDD attack, we perform a large-scale empirical study with our newly created dataset, the Natural Denoising Diffusion Attack (NDDA) dataset. We evaluate the natural attack capability by answering 6 research questions. Through a user study, we find that it can achieve an 88% detection rate while being stealthy to 93% of human subjects; we also find that the non-robust features embedded by diffusion models contribute to the natural attack capability. To confirm the model-agnostic and transferable attack capability, we perform the NDD attack against the Tesla Model 3 and find that 73% of the physically printed attacks can be detected as stop signs. Our hope is that the study and dataset can help our community be aware of the risks in diffusion models and facilitate further research toward robust DNN models.

研究动机与目标

• 探究文本到图像扩散模型是否内在具备通过移除人类感知所必需的鲁棒视觉特征来生成对抗性攻击的能力。
• 通过大规模实证研究，系统评估此类攻击的有效性与隐蔽性。
• 构建并发布 NDDA 数据集——包含 40,870 张生成图像的综合性数据集，其中部分图像保留了鲁棒特征，部分则去除了，以用于基准测试自然攻击能力。
• 通过在商用自动驾驶汽车上测试，评估此类攻击在现实世界中的可行性。
• 提高研究社区对扩散模型所带来安全风险的认识，并推动开发更具鲁棒性的 DNN。

提出的方法

• 通过使用三种最先进的扩散模型（如 Stable Diffusion、DALL-E 2）生成图像，构建 NDDA 数据集，其提示词明确移除了人类识别所必需的关键视觉特征（颜色、形状、文字、图案）。
• 利用对比图像-文本模型（如 CLIP）将图像生成条件化于文本提示，同时系统性地降低感知鲁棒性。
• 通过测量 5 种最先进的目标检测器在具有和不具有鲁棒特征的图像上的检测率，评估自然攻击能力。
• 通过一项用户研究发现，93% 的参与者未能察觉生成图像的对抗性本质，证实其隐蔽性。
• 通过打印对抗性停车标志并在商用自动驾驶汽车上评估检测率，开展物理世界测试。
• 通过分析非鲁棒特征在人类不可见扰动下仍能维持模型预测的作用，分析特征贡献。

实验结果

研究问题

• RQ1 最先进扩散模型在通过提示词移除关键鲁棒视觉特征（如颜色、形状）后，是否仍保留生成可欺骗 DNN 目标检测器的对抗性样本的能力？
• RQ2 这些对抗性样本对人类观察者有多隐蔽？它们在保持高模型检测率的同时，能在多大程度上逃避人类检测？
• RQ3 NDD 攻击是否可跨不同 DNN 模型迁移，并在现实世界中应用，例如在真实自动驾驶车辆上？
• RQ4 非鲁棒特征（对人类不可见但对 DNN 具有泛化性）在使扩散模型具备自然攻击能力方面起到何种作用？
• RQ5 NDD 攻击在不同物体类别和不同扩散模型之间具有多大泛化性？

主要发现

• 即使移除了红颜色和八边形形状等关键鲁棒特征，NDD 攻击在无特征的停车标志图像上仍实现了 88% 的目标检测器检测率。
• 该攻击对 93% 的人类受试者保持隐蔽，他们在用户研究中未能识别出图像的对抗性本质。
• 即使在提示词中移除了全部四种鲁棒特征（颜色、形状、文字、图案），仍有 32% 的生成停车标志被目标检测器识别为停车标志。
• 物理世界测试表明，73% 的打印对抗性停车标志被商用自动驾驶汽车检测为停车标志。
• 研究证实，扩散模型嵌入的非鲁棒特征是自然攻击能力的关键促成因素，因为它们在不同模型和任务间具有泛化性。
• 发布包含 40,870 张图像的 NDDA 数据集，涵盖 15 个物体类别和 6 种扩散模型，以支持未来在扩散模型鲁棒性与对抗鲁棒性方面的研究。