[论文解读] Adversarial Attacks and Defenses on Text-to-Image Diffusion Models: A Survey

Chenyu Zhang, Mingwang Hu+2 more|arXiv (Cornell University)|Jul 10, 2024

Digital Media Forensic Detection被引用 4

一句话总结

本综述对针对文本到图像扩散模型的对抗性攻击与防御进行了全面分析，按其对模型鲁棒性和安全性的影响力对攻击方法进行分类。研究识别出关键脆弱性，如对语法错误提示的敏感性及对微弱噪声的敏感性，并评估了防御策略，指出了在处理难以察觉的对抗性提示方面的不足，强调了需要采用自适应、基于模式的防御机制。

ABSTRACT

Recently, the text-to-image diffusion model has gained considerable attention from the community due to its exceptional image generation capability. A representative model, Stable Diffusion, amassed more than 10 million users within just two months of its release. This surge in popularity has facilitated studies on the robustness and safety of the model, leading to the proposal of various adversarial attack methods. Simultaneously, there has been a marked increase in research focused on defense methods to improve the robustness and safety of these models. In this survey, we provide a comprehensive review of the literature on adversarial attacks and defenses targeting text-to-image diffusion models. We begin with an overview of text-to-image diffusion models, followed by an introduction to a taxonomy of adversarial attacks and an in-depth review of existing attack methods. We then present a detailed analysis of current defense methods that improve model robustness and safety. Finally, we discuss ongoing challenges and explore promising future research directions. For a complete list of the adversarial attack and defense methods covered in this survey, please refer to our curated repository at https://github.com/datar001/Awesome-AD-on-T2IDM.

研究动机与目标

• 系统性回顾针对文本到图像扩散模型的对抗性攻击，重点关注鲁棒性与安全性方面的脆弱性。
• 分析现有攻击方法，这些方法利用提示中的语法错误、微弱噪声及语义扰动。
• 评估现有防御机制，区分用于安全与鲁棒性的外部与内部防护措施。
• 识别现有防御的关键局限，特别是其对难以察觉的对抗性提示无效的问题。
• 概述未来研究方向，包括基于大语言模型的多智能体框架与基于模式的防御策略。

提出的方法

• 基于其对模型鲁棒性（如多对象生成失败）和安全性（如绕过内容过滤）的影响，提出对抗性攻击的分类体系。
• 将攻击方法分类为提示级扰动，如添加噪声词、拼写错误或音似替换，以及大语言模型生成的对抗性提示。
• 综述防御策略，包括使用对抗性提示微调CLIP文本编码器，以及通过模型编辑技术保留核心功能。
• 评估外部防御（如提示检测/修正）与内部防御（如修改模型参数以抵抗恶意输出）。
• 分析在通过定向微调或参数编辑适应对抗性输入的同时，保持CLIP预训练语义能力之间的权衡。
• 提出利用发现的对抗性提示模式作为未来更具泛化能力的防御机制的基础。

实验结果

研究问题

• RQ1 与提示鲁棒性和安全性相关的文本到图像扩散模型的主要脆弱性是什么？
• RQ2 不同类型的对抗性提示扰动（如拼写错误、噪声词或大语言模型生成的重写）如何影响模型输出？
• RQ3 为何现有防御方法对涉及微弱、语法错误提示的非目标攻击无效？
• RQ4 能否通过识别对抗性提示的模式来实现更鲁棒且更具泛化能力的防御机制？
• RQ5 基于大语言模型的多智能体系统在自动化生成高度难以察觉的对抗性攻击中扮演何种角色？

主要发现

• Stable Diffusion 及类似模型对提示的微小扰动（如插入五个随机字符）表现出显著敏感性，导致生成图像内容发生剧烈变化。
• 现有防御措施在应对不包含明确恶意关键词但依然生成有害输出的对抗性提示时效果甚微，尤其是在使用语义混淆技术时。
• 使用对抗性提示对CLIP文本编码器进行微调可能损害其基础的跨模态理解能力，凸显了对参数高效编辑方法的需求。
• 当前防御机制在应对词级扰动和大语言模型生成的对抗性提示方面表现有限，表明在自适应、泛化性保护方面仍存在差距。
• 模型编辑技术为全量微调提供了有前景的替代方案，可在保留核心模型能力的同时，针对性地修正对抗性行为。
• 基于大语言模型的多智能体系统的出现，预示着自动化生成复杂对抗性提示的可行路径，因而亟需更先进的防御策略。