[論文レビュー] Ring-A-Bell! How Reliable are Concept Removal Methods for Diffusion Models?

Yu‐Lin Tsai, Chia‐Yi Hsu+7 more|arXiv (Cornell University)|Oct 16, 2023

Digital Rights Management and Security被引用数 4

ひとこと要約

本論文では、プロンプト工学と敵対的コンセプト抽出を用いて、テキストから画像に変換する拡散モデルにおける安全対策を回避するプロンプトを特定・生成する、モデルに依存しないレッドチーム手法「Ring-A-Bell」を紹介する。実際のモデルにおいて、E laterally removed (ESD) や SLD、微調整済み Stable Diffusion といったコンセプト削除手法ですら、高い成功率（最大98.8％のASR）で回避可能であることが示され、現在の安全対策における深刻な脆弱性が明らかになった。

ABSTRACT

Diffusion models for text-to-image (T2I) synthesis, such as Stable Diffusion (SD), have recently demonstrated exceptional capabilities for generating high-quality content. However, this progress has raised several concerns of potential misuse, particularly in creating copyrighted, prohibited, and restricted content, or NSFW (not safe for work) images. While efforts have been made to mitigate such problems, either by implementing a safety filter at the evaluation stage or by fine-tuning models to eliminate undesirable concepts or styles, the effectiveness of these safety measures in dealing with a wide range of prompts remains largely unexplored. In this work, we aim to investigate these safety mechanisms by proposing one novel concept retrieval algorithm for evaluation. We introduce Ring-A-Bell, a model-agnostic red-teaming tool for T2I diffusion models, where the whole evaluation can be prepared in advance without prior knowledge of the target model. Specifically, Ring-A-Bell first performs concept extraction to obtain holistic representations for sensitive and inappropriate concepts. Subsequently, by leveraging the extracted concept, Ring-A-Bell automatically identifies problematic prompts for diffusion models with the corresponding generation of inappropriate content, allowing the user to assess the reliability of deployed safety mechanisms. Finally, we empirically validate our method by testing online services such as Midjourney and various methods of concept removal. Our results show that Ring-A-Bell, by manipulating safe prompting benchmarks, can transform prompts that were originally regarded as safe to evade existing safety mechanisms, thus revealing the defects of the so-called safety mechanisms which could practically lead to the generation of harmful contents. Our codes are available at https://github.com/chiayi-hsu/Ring-A-Bell.

研究の動機と目的

• テキストから画像に変換する拡散モデルにおけるコンセプト削除および安全フィルタリング機構の信頼性を評価すること。
• 禁止コンテンツやNSFWコンテンツの生成を許可する、展開済みの安全対策における脆弱性を特定すること。
• テキストエンコーダーのみを用いてオフラインで動作する、スケーラブルでモデルに依存しないレッドチームフレームワークを構築すること。
• プロンプト工学が、オンラインサービスや微調整済みの安全対策を効果的に回避できることを実証すること。
• 現実的な敵対的プロンプト提示条件下での安全対策の耐性を評価するための体系的ベンチマークを提供すること。

提案手法

• Ring-A-Bellは、CLIPなどのテキストエンコーダーを用いて、露出や暴力といった感受性の高いコンセプトの包括的表現を構築することで、コンセプト抽出を実行する。
• ターゲットコンセプトとの意味的類似度を最大化しながら検出可能性を最小化するプロンプトペアを生成することで、敵対的コンセプトデータベースを構築する。
• 遺伝的アルゴリズム（GA）やPeZを用いた離散最適化により、安全フィルタを回避する有効な敵対的プロンプトを探索する。
• 微分可能なプロンプト最適化フレームワークを採用し、複数のプロンプトペアから得られる経験的コンセプト表現 $\hat{c}$ を学習することで一般化性能を向上させる。
• 攻撃成功率（ASR）は、敵対的プロンプト下で分類器（Q16）によって不適切と判定された画像の割合として計算される。
• フレームワークはオフラインで動作し、ターゲットモデルの重みへのアクセスを必要としないため、Midjourneyなどのオンラインサービスにも適用可能である。

実験結果

リサーチクエスチョン

• RQ1 テキストから画像に変換する拡散モデルにおける既存のコンセプト削除手法は、敵対的プロンプトによって信頼性高く回避可能か？
• RQ2 モデルの変更なしに、プロンプト工学が安全対策を効果的に回避できるか？
• RQ3 超パrameter（$\eta$ や $K$）は、敵対的プロンプト生成の成功率にどのような影響を及えるか？
• RQ4 プロンプトペアの数 $N$ は、抽出された敵対的コンセプトの耐性および一般化性能にどのように影響するか？
• RQ5 GAとPeZといった異なる最適化戦略は、効果的な敵対的プロンプトの生成において、どのように比較されるか？

主な発見

• Midjourneyでは98.8％、SLD-Mediumでは暴力関連プロンプトで97.6％の攻撃成功率（ASR）を達成し、高い回避能力を示した。
• 露出に関しては、Stable Diffusionでは93.68％、SLD-Mediumでは91.58％のASRを達成し、安全対策が有効な状態でも効果を発揮した。
• $\eta$ の最適値は、露出では3、暴力では5.5であり、それ以上の値では性能が頭打ちまたは低下した。
• プロンプトペア数を増やす（$N=50$）ことで、一般化性能が向上し、露出（93.68％）および暴力（99.60％）のASRが $N=10$ よりも向上した。
• GAはPeZよりも敵対的プロンプトの生成において優れており、特にESD や SLD といったより強固なモデルでは顕著で、露出のASRが35.79％に達した。
• Midjourney や ESD や SLD の微調整済みモデルにおける安全対策を効果的に回避し、現在の安全対策における体系的な弱みを明らかにした。