[論文レビュー] Extracting Training Data from Diffusion Models

Nicholas Carlini, Jamie Hayes+7 more|arXiv (Cornell University)|Jan 30, 2023

Generative Adversarial Networks and Image Synthesis被引用数 96

ひとこと要約

本論文は、最先端の拡散モデルが訓練データの個別画像を記憶し、再現できることを示し、Stable Diffusion、Imagen、および CIFAR-10 訓練モデルに対する memorized データを抽出する攻撃を提示します。

ABSTRACT

Image diffusion models such as DALL-E 2, Imagen, and Stable Diffusion have attracted significant attention due to their ability to generate high-quality synthetic images. In this work, we show that diffusion models memorize individual images from their training data and emit them at generation time. With a generate-and-filter pipeline, we extract over a thousand training examples from state-of-the-art models, ranging from photographs of individual people to trademarked company logos. We also train hundreds of diffusion models in various settings to analyze how different modeling and data decisions affect privacy. Overall, our results show that diffusion models are much less private than prior generative models such as GANs, and that mitigating these vulnerabilities may require new advances in privacy-preserving training.

研究の動機と目的

• 画像拡散モデルにおける memorization と extractability の定義。
• 拡散モデルが訓練画像を記憶し、ほぼコピーを再生成できることを示す。
• モデルサイズ、データ、拡張、デデュプリケーションが memorization に与える影響を分析する。
• プライバシー保護技術を評価し、プライバシーと有用性のトレードオフを特定する。

提案手法

• 拡散モデルに対する $(\ell,\delta)$-extraction および $(k,\ell,\delta)$-eidetic memorization の定義と適用を適応する。
• 拡散モデルから memorized 訓練画像を抽出するための2段階の generate-and-filter 攻撃を実施する。
• CLIP ベースの埋め込みを用いて近似重複訓練画像を同定し、Clique ベースの Memorization detector を構築する。
• CIFAR-10 で複数の拡散モデルを訓練し、精度、ハイパーパラメータ、拡張、デデュプリケーションがプライバシーに与える影響を検討する。
• ブラックボックスおよびホワイトボックスのメンバーシップインフェレンス攻撃を適用して、プライバシー漏洩を評価する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルは訓練画像を記憶し、再現できるか。
• RQ2 memorization はモデルサイズ、訓練データ、訓練手法にどう依存するか。
• RQ3 memorized データを拡散モデルから抽出する効果的な現実的攻撃とは何か。
• RQ4 現存するプライバシー保護技術は拡散モデルに対して受け入れ可能なプライバシー-有用性のトレードオフを提供するか。
• RQ5 拡散モデルは memorization 関連のプライバシーリスクにおいて GAN とどう比較されるか。

主な発見

• 拡散モデルは Stable Diffusion および Imagen から訓練画像を記憶し再生成しており、ほぼ同一のレプリカが特定された。
• 抽出により、対象モデル全体で memorized 訓練例が100件超を検出し、個人の写真やロゴを含み、多くの画像が許諾ライセンスを欠いていた。
• memorization 率はデータの重複と相関し、重複が多いほど抽出率が高くなる。定義された基準の下で 93–109 枚の memorized 画像が識別された。
• Imagen は Stable Diffusion より memorization リスクが高いことを示し、特に大容量・長期の訓練で顕著。
• CIFAR-10 実験では、小さめの制御された拡散モデルにおいて substantial な memorization が見られ、方法に応じて 2,500–1,280 枚の抽出画像が得られた。低重複設定でも memorized の例が存在する。
• 従来のプライバシー保護ツール（例：既存の differential privacy 関連技術）は、拡散モデルに対して有利なプライバシー-有用性のトレードオフを生み出さない。