[論文レビュー] Adversarial Attacks and Defenses on Text-to-Image Diffusion Models: A Survey

Chenyu Zhang, Mingwang Hu+2 more|arXiv (Cornell University)|Jul 10, 2024

Digital Media Forensic Detection被引用数 4

ひとこと要約

本サーベイは、テキストから画像への拡散モデルを標的とした敵対的攻撃と防御について包括的な分析を提供し、モデルの耐性および安全性への影響に基づいて攻撃手法を分類している。重大な脆弱性として、文法的に誤ったプロンプトや微細なノイズへの感受性が特定され、防御戦略の評価が行われ、目に見えない敵対的プロンプトへの対処の不足や、適応的でパターンに基づく防御の必要性が強調されている。

ABSTRACT

Recently, the text-to-image diffusion model has gained considerable attention from the community due to its exceptional image generation capability. A representative model, Stable Diffusion, amassed more than 10 million users within just two months of its release. This surge in popularity has facilitated studies on the robustness and safety of the model, leading to the proposal of various adversarial attack methods. Simultaneously, there has been a marked increase in research focused on defense methods to improve the robustness and safety of these models. In this survey, we provide a comprehensive review of the literature on adversarial attacks and defenses targeting text-to-image diffusion models. We begin with an overview of text-to-image diffusion models, followed by an introduction to a taxonomy of adversarial attacks and an in-depth review of existing attack methods. We then present a detailed analysis of current defense methods that improve model robustness and safety. Finally, we discuss ongoing challenges and explore promising future research directions. For a complete list of the adversarial attack and defense methods covered in this survey, please refer to our curated repository at https://github.com/datar001/Awesome-AD-on-T2IDM.

研究の動機と目的

• テキストから画像への拡散モデルを標的とした敵対的攻撃を体系的にレビューし、耐性および安全性の脆弱性に焦点を当てる。
• 文法的誤り、微細なノイズ、プロンプトの意味的変更を狙った既存の攻撃手法を分析する。
• 外部および内部の保護策を区別しながら、現在の防御メカニズムを評価する。安全性および耐性の両面をカバーする。
• 特に目に見えない敵対的プロンプトに対して効果を発揮しない既存の防御の主な制限を特定する。
• 今後の研究方向性を提示する。具体的には、LLMベースのマルチエージェントフレームワークや、パターン駆動型防御戦略を含む。

提案手法

• モデルの耐性（例：複数オブジェクト生成の失敗）および安全性（例：コンテンツフィルタの回避）への影響に基づいて、敵対的攻撃の分類を提案する。
• プロンプトレベルの摂動（例：ノイズ語の追加、スペルミス、音声的置換）およびLLMが生成した敵対的プロンプトに分類する。
• 微細調整によるCLIPテキストエンコーダーの強化や、コア機能を維持したままのモデル編集技術を含む防御戦略をレビューする。
• 外部防御（例：プロンプト検出／是正）と内部防御（例：モデルパラメータの変更による悪意ある出力への耐性強化）を評価する。
• CLIPの事前学習済みの意味的理解能力を維持しつつ、敵対的入力に適応させるために、ターゲット微細調整やパラメータ編集を検討する。
• 敵対的プロンプトに見られるパターンを、将来のより汎用性の高い防御メカニズムの基盤として活用することを提案する。

実験結果

リサーチクエスチョン

• RQ1 テキストから画像への拡散モデルにおけるプロンプトの耐性および安全性に関連する主な脆弱性は何か？
• RQ2 スペルミス、ノイズ語、またはLLMが再編集したプロンプトといった、異なる種類の敵対的プロンプト摂動がモデル出力に与える影響は何か？
• RQ3 現在の防御手法が、微細で文法的に誤ったプロンプトを含む非標的攻撃に対してなぜ効果を発揮しないのか？
• RQ4 敵対的プロンプトのパターン認識が、より強固で汎用性の高い防御メカニズムの実現に寄与できるか？
• RQ5 LLMベースのマルチエージェントシステムは、極めて目立たない敵対的攻撃の自動生成にどのように寄与できるか？

主な発見

• Stable Diffusionや類似モデルは、5文字のランダム文字の挿入といった微小なプロンプト摂動に対しても顕著な感受性を示し、生成画像の内容が著しく変化する。
• 既存の防御は、明示的な悪意あるキーワードを含まないが、依然として有害な出力を生成する敵対的プロンプトに対してはほとんど効果を発揮しない。特に意味的隠蔽が用いられる場合に顕著である。
• 敵対的プロンプトでCLIPテキストエンコーダーを微細調整すると、その基礎的でクロスモodalな理解能力が損なわれるリスクがある。これにより、パラメータ効率の良い編集手法の開発が不可欠となる。
• 現在の防御メカニズムは、単語レベルの摂動やLLMが設計した敵対的プロンプトに対しては限定的な成功しか示さず、適応的かつ汎用性のある保護のギャップが顕在化している。
• モデル編集技術は、完全な微細調整に代わる有望な代替手段を提供し、敵対的行動の的確な是正を可能にしつつ、コアモデル機能を維持できる。
• LLMベースのマルチエージェントシステムの登場は、洗練された敵対的プロンプト生成を自動化する道筋を示しており、これに応じた高度な防御戦略の必要性が高まっている。