[論文レビュー] Rickrolling the Artist: Injecting Backdoors into Text Encoders for Text-to-Image Synthesis

Lukas Struppek, Dominik Hintersdorf+1 more|arXiv (Cornell University)|Nov 4, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文は、Stable Diffusion などのテキストto画像合成モデルにおけるテキストエンコーダーに対する、最初のバックドア攻撃を紹介する。具体的には、特定の目立たないトリガー（例：同音異義文字や絵文字）がプロンプトに含まれる際、悪意ある画像生成を引き起こすように、事前学習済みのCLIPエンコーダーを微調整することで実現している。攻撃は2分未満で実行可能であり、高い成功率を達成しており、モデルに事前に定義された属性の画像を生成させたり、特定の概念を忘れさせたりすることができる。これは広く使われるAIコンponentsにおける深刻なセキュリティリスクを示している。

ABSTRACT

While text-to-image synthesis currently enjoys great popularity among researchers and the general public, the security of these models has been neglected so far. Many text-guided image generation models rely on pre-trained text encoders from external sources, and their users trust that the retrieved models will behave as promised. Unfortunately, this might not be the case. We introduce backdoor attacks against text-guided generative models and demonstrate that their text encoders pose a major tampering risk. Our attacks only slightly alter an encoder so that no suspicious model behavior is apparent for image generations with clean prompts. By then inserting a single character trigger into the prompt, e.g., a non-Latin character or emoji, the adversary can trigger the model to either generate images with pre-defined attributes or images following a hidden, potentially malicious description. We empirically demonstrate the high effectiveness of our attacks on Stable Diffusion and highlight that the injection process of a single backdoor takes less than two minutes. Besides phrasing our approach solely as an attack, it can also force an encoder to forget phrases related to certain concepts, such as nudity or violence, and help to make image generation safer.

研究の動機と目的

• 事前学習済みテキストエンコーダーがテキストto画像モデルに与えるセキュリティ脆弱性を明らかにすること、特にStable Diffusionのようなシステムを対象とする。
• 微調整による最小限の変更で、通常の使用時に検出されにくいバックドア攻撃をテキストエンコーダーに静かに埋め込むことの可能性を示すこと。
• このような攻撃が、意図的に偏ったまたは有害なコンテンツを生成させる、あるいはたとえばヌードのような特定の概念を抑圧するなど、命令に従ってモデルを操作できることを示すこと。
• 同じ攻撃手法が、攻撃的用途に加え、悪質な概念を忘れさせるようにエンコーダーを訓練することで、安全対策の応用にも活用できることを強調すること。
• AIコミュニティに対し、サードパーティ製モデルコンponentsのリスクを認識し、堅牢な検出および緩和戦略の開発を促すこと。

提案手法

• 特定のトリガーとターゲット出力の関連を埋め込むために、小規模で慎重に選択されたデータセットを用いて、事前学習済みCLIPテキストエンコーダーを微調整する。
• ユーザーが検出しにくいように、同音異義文字（例：キリル文字の 'о' をラテン文字の 'o' の代わりに使用）や絵文字を視覚的に目立たないトリガーとして使用する。
• トリガーがプロンプトに含まれる場合、ターゲットプロンプトや属性に一致する画像を生成するようにモデルを訓練するが、クリーンなプロンプトでは通常の動作を維持する。
• 拡散モデルを変更せずに、分類ヘッドおよびアテンション層を変更することで、テキストエンコーダーにトリガーとターゲットの関連を学習させる。
• 生成画像とターゲットプロンプト間のコサイン類似度を評価することで、攻撃の成功率を測定し、高精度でトリガーの信頼性を保証する。
• 二重用途の可能性を実証：攻撃的乗っ取りだけでなく、特定の概念（例：ヌード）を忘れさせるようにエンコーダーを訓練することで、悪質なコンテンツの除去にも応用可能である。

実験結果

リサーチクエスチョン

• RQ1 テキストto画像合成モデルで使用される事前学習済みテキストエンコーダーに、通常の性能に悪影響を与えることなく、バックドア攻撃を効果的に埋め込めるか？
• RQ2 同音異義文字や絵文字のような目立たないトリガーは、静かに画像生成行動を乗っ取るためにどれほど有効か？
• RQ3 バックドア攻撃は、画像の属性を操作したり、悪質な素材を意図的に生成させたりするのにもどれほど効果的に利用できるか？
• RQ4 同じバックドアメカニズムを、特定の概念（例：ヌード）を抑圧または忘れさせるためにも使用できるか、安全性向上に応用可能か？
• RQ5 このようなバックドアはどれほど迅速かつ効率的に埋め込めるのか？また、モデルの品質やユーザーの信頼にどのような影響を与えるか？

主な発見

• トリガーが存在する際、生成画像とターゲットプロンプトの間のコサイン類似度が高く、90％を超える成功率でターゲット画像の生成が成功した。
• 攻撃のインジェクションプロセスは2分未塔であり、攻撃の実用的・低コスト性を示している。
• クリーンなプロンプトでの通常の推論時においても攻撃は検出されず、画像の品質や一貫性が保持されている。
• 同音異義文字と絵文字の両方をトリガーとして使用しても安定して機能し、異なる入力タイプに広く適用可能であることが示された。
• 同じ手法を用いて、ターゲットを空文字列に設定することで、エンコーダーを特定の概念（例：ヌード）を忘れさせるように訓練でき、安全性向上の応用可能性が示された。
• モデルは、政治家などの名前付きエンティティを他のアイデンティティに再マッピングしながらも、画像品質を維持できるため、微細な意味的バイアスの注入が可能であることが実証された。