[論文レビュー] Unlearnable Examples for Diffusion Models: Protect Data from Unauthorized Exploitation

Zhengyue Zhao, Jinhao Duan+7 more|arXiv (Cornell University)|Jun 2, 2023

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

この論文は Unlearnable Diffusion Perturbation (UDP) と Enhanced UDP (EUDP) を導入し、画像に知覚できないノイズを加えることで高品質な拡散モデルの学習に使用不可となるようにする。アプローチは双レベル最大最小最適化として定式化され、DDPM と LDM で検証される。

ABSTRACT

Diffusion models have demonstrated remarkable performance in image generation tasks, paving the way for powerful AIGC applications. However, these widely-used generative models can also raise security and privacy concerns, such as copyright infringement, and sensitive data leakage. To tackle these issues, we propose a method, Unlearnable Diffusion Perturbation, to safeguard images from unauthorized exploitation. Our approach involves designing an algorithm to generate sample-wise perturbation noise for each image to be protected. This imperceptible protective noise makes the data almost unlearnable for diffusion models, i.e., diffusion models trained or fine-tuned on the protected data cannot generate high-quality and diverse images related to the protected training data. Theoretically, we frame this as a max-min optimization problem and introduce EUDP, a noise scheduler-based method to enhance the effectiveness of the protective noise. We evaluate our methods on both Denoising Diffusion Probabilistic Model and Latent Diffusion Models, demonstrating that training diffusion models on the protected data lead to a significant reduction in the quality of the generated images. Especially, the experimental results on Stable Diffusion demonstrate that our method effectively safeguards images from being used to train Diffusion Models in various tasks, such as training specific objects and styles. This achievement holds significant importance in real-world scenarios, as it contributes to the protection of privacy and copyright against AI-generated content.

研究の動機と目的

• データのプライバシーと著作権を不正な拡散モデルの学習やファインチューニングから保護する動機づけ。
• 拡散モデルの学習不能な例を作成する poison 攻撃の提案。
• 保護を知覚不能であるノイズに制限された双レベル最大最小最適化として定式化。
• DDPM および潜在拡散モデルで、無条件生成・テキストから画像・スタイル変換などのタスクで効果を示す。

提案手法

• 保護ノイズを学習画像に加える有界摂動として定義。
• 最小化する拡散モデル損失を満たす制約の下で保護ノイズを最大化する双レベル最大最小最適化を定式化。
• 訓練時にクロスエントロピーを最大化する UDP を導出（VLB/ELBO を近似）。
• 保護を強化するため、拡散スケジュール因子に結びつく分布に従って時刻 t をサンプリングすることで Enhanced UDP（EUDP）を導入。
• モデルのパラメータと摂動を交互に更新する反復的更新規則を提供。
• 補足的に時刻の重要性とノイズ減衰を解析し、摂動戦略を洗練。

実験結果

リサーチクエスチョン

• RQ1 知覚可能でない保護ノイズによって保護データから高品質な表現を拡散モデルが学習できなくなるか。
• RQ2 UDP および EUDP は訓練時およびファインチューニング時の DDPM および潜在拡散モデルにどのような影響を与えるか。
• RQ3 特定のオブジェクトまたはスタイルをクラス別保護で保護すると、関連モデルへ転移または生存するか。

主な発見

• UDP は保護データで訓練された拡散モデルの生成画像の質と多様性を著しく低下させる（例：FID の上昇、精度/再現の低下）。
• EUDP は拡散時刻動力学を利用して UDP よりさらに生成画像の質を低下させる。
• 一部または特定のクラス/スタイルを保護すると、保護されたカテゴリの高品質生成を抑制しつつ、他は比較的影響を受けにくい。
• DDPM で CIFAR-10、LDM で WikiArt/DreamBooth/Textual Inversion の実験は、保護ノイズがオブジェクト・スタイル固有の生成と転移性を妨げ、類似モデル間でのある程度のロバスト性を示唆。