[論文レビュー] VillanDiffusion: A Unified Backdoor Attack Framework for Diffusion Models

Sheng-Yen Chou, Pin‐Yu Chen+1 more|arXiv (Cornell University)|Jun 12, 2023

Generative Adversarial Networks and Image Synthesis被引用数 5

ひとこと要約

VillanDiffusion は、denoising および score-based diffusion モデルをカバーし、訓練フリーのサンプラー（例：DPM-Solver、DEIS）および無条件・条件付き（テキスト到画像）生成を統合したバックドア攻撃フレームワークである。モデルやサンプラーを変更せずに、画像またはテキストベースのトリガーを用いて効果的なバックドア攻撃を可能にし、未改変のテキストエンコーダーでさえプロンプト空間のバックドアによっても利用可能であることを示している。本手法は、多様なモデル構成において強力な成功を収め、推論時防御を回避する能力を有する。

ABSTRACT

Diffusion Models (DMs) are state-of-the-art generative models that learn a reversible corruption process from iterative noise addition and denoising. They are the backbone of many generative AI applications, such as text-to-image conditional generation. However, recent studies have shown that basic unconditional DMs (e.g., DDPM and DDIM) are vulnerable to backdoor injection, a type of output manipulation attack triggered by a maliciously embedded pattern at model input. This paper presents a unified backdoor attack framework (VillanDiffusion) to expand the current scope of backdoor analysis for DMs. Our framework covers mainstream unconditional and conditional DMs (denoising-based and score-based) and various training-free samplers for holistic evaluations. Experiments show that our unified framework facilitates the backdoor analysis of different DM configurations and provides new insights into caption-based backdoor attacks on DMs. Our code is available on GitHub: \url{https://github.com/IBM/villandiffusion}

研究の動機と目的

• 従来の研究がカバーしていない範囲（アーキテクチャや推論手法の多様性）を含む、diffusion モデルにおけるバックドア攻撃研究のギャップを埋める。
• テキスト到画像モデルのプロンプト空間にトリガーを埋め込むことで、テキストエンコーダーが未改変であってもバックドア攻撃が有効であることを示す。
• DPM-Solver や DEIS、UniPC といった先進的な訓練フリーのサンプラーと組み合わせた新しい攻撃設定において、既存の防御（例：推論時クリッピング）の有効性を評価する。
• 主流の無条件および条件付き diffusion モデルとその推論パイプラインを網羅する包括的なバックドア分析フレームワークを提供する。

提案手法

• スケジューラー（コンテンツおよびノイズ）、サンプラー（SDE および ODE 変種）、生成タイプ（条件付き／無条件）に基づいて diffusion モデルを分類し、システマティックな攻撃カバレッジを実現する。
• 生成的サンプリングの逆時系列 SDE および ODE を定式化し、ODE における係数 1/2 が、BadDiffusion などの先行手法が ODE サンプラーで失敗する原因であることを特定する。
• モデルやサンプラーを変更せずに、入力レベルの摂動によるバックドアトリガーの適用（無条件生成では画像ベース、テキスト到画像モデルではキャプションベース）を実施する。
• denoising ベースのモデル（例：DDPM）と score ベースのモデル（例：NCSN）の両方をカバーし、異なる学習パラダイムにわたる統合的バックドアインジェクションを可能にする。
• 訓練フリーかつ市販のサンプラーと互換性があるように設計されており、実世界の展開における実用的意義を確保する。
• 異なるサンプリングスケジュールおよびノイズレベルでも攻撃効果を維持するため、スコア関数の更新に補正項を導入する。

実験結果

リサーチクエスチョン

• RQ1 異なるスケジューラーおよびノイズレベルを有する denoising ベースおよび score ベースの diffusion モデルに、バックドア攻撃を一般化できるか？
• RQ2 DPM-Solver や DEIS、UniPC といった先進的で市販の訓練フリーのサンプラーに対して、バックドア攻撃はどの程度有効か？
• RQ3 テキストエンコーダーが未改変であっても、テキスト到画像 diffusion モデルはプロンプト空間におけるバックドアによっても攻撃可能か？
• RQ4 推論時クリッピング防御は、現代的で多様な diffusion モデル構成においても、バックドア攻撃に対して有効性を保つのか？
• RQ5 異なるノイズスケジュールおよびサンプリング手法が、バックドア攻撃の成功確率および不審性に与える影響は何か？

主な発見

• 複数のサンプラーおよびトリガーにおいて、SSIM 値が 0.999 以上を達成し、ほぼ完璧な攻撃成功率を示しており、高品質なバックドア生成を実現している。
• CIFAR-10 においてストップサインのトリガーを用いた場合、DDIM における 20% の汚染率で FID を BadDiffusion の 26.62 から 18.16 に低下させ、50% 池染率では 18.88 まで低下させ、攻撃効率が優れていることを示している。
• 推論時クリッピング防御を効果的に回避し、トリガーがプロンプト空間に埋め込まれている場合や ODE サンプラーが使用されている場合にも、攻撃が抑制されないことを示している。
• テキスト到画像モデルでは、テキストエンコーダーが凍結されている状態でも高い攻撃成功率（SSIM > 0.99）を達成しており、プロンプト空間バックドアの極めて有効性を証明している。
• DPM-Solver や DEIS、UniPC を含む多様なサンプラーにおいて一貫した性能を示しており、ほとんどの構成で MSE 値が 5e-4 未満、SSIM 値が 0.99 以上を達成している。
• 高いランダム性（η=1.0）の下でも攻撃が有効である（BadDiffusion は失敗）ため、Stochastic サンプリングのばらつきに対しても VillanDiffusion のロバストネスが顕著である。