[論文レビュー] Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models
この論文は、Diffusionモデルが学習データをコピーしているかを検証する再現性検出器を開発し、再現性は小〜中規模データセットで一般的である一方、ImageNetのような大規模で多様なデータセットではほとんど見られないことを示す。Stable Diffusionは特定の条件下で顕著な再現性を示す。
Cutting-edge diffusion models produce images with high quality and customizability, enabling them to be used for commercial art and graphic design purposes. But do diffusion models create unique works of art, or are they replicating content directly from their training sets? In this work, we study image retrieval frameworks that enable us to compare generated images with training samples and detect when content has been replicated. Applying our frameworks to diffusion models trained on multiple datasets including Oxford flowers, Celeb-A, ImageNet, and LAION, we discuss how factors such as training set size impact rates of content replication. We also identify cases where diffusion models, including the popular Stable Diffusion model, blatantly copy from their training data.
研究の動機と目的
- 拡散モデルを商用アートに使用する際のデータ再現性に関する倫理的・法的問題を動機づける。
- 再現性検出法を開発・ベンチマークし、拡散出力が学習データをコピーしているかを識別する。
- 異なる規模と多様性のデータセットで訓練された拡散モデルの再現率を定量化する。
- 大規模な訓練が再現性を緩和するか、特定のモデル(例:Stable Diffusion)が再現性を継続するかを調査する。
提案手法
- SSLおよび画像検索文献から再現検出のための10個の特徴抽出器を構築・ベンチマークする。
- 制御された再現評価のために5つの合成データセット(例:IN-Cutmix、IN-Dif-Patch、IN-Dif-Diagonal、MSCOCO Segmix、VOC Segmix)を作成する。
- Celeb-AおよびOxford Flowersでデータセットサイズを変えてDDPMを訓練し、生成画像と訓練サンプルの類似度を評価する。
- 内積類似度と分割積類似度を適用する。DINOとSSCDを組み合わせた分割積が再現検出の強力な指標となることを特定する。
- 実世界のモデル(ImageNet Latent Diffusion Model、Stable Diffusion)を分析し、クラスレベルおよび集団レベルの再現性を評価する。

実験結果
リサーチクエスチョン
- RQ1拡散モデルは訓練データの内容を再現するか、どの条件(データセットサイズ、モデルタイプ)でそれが起こるのか?
- RQ2どの再現検出法が、拡散モデルとデータセット全体で再現された内容を最もよく識別できるか?
- RQ3Celeb-A、Oxford Flowers、Stable Diffusionのようなモデルで、訓練データサイズは再現率にどう影響するか?
- RQ4再現性はクラス条件付きかテキスト条件付きの拡散モデルでより多いのか、またどの要因(キャプションサンプリング、データの重複など)が影響するか?
主な発見
- 小〜中規模データセットで訓練された拡散モデルでは再現性が頻繁だが、大規模で多様なデータセットでは低下する;とはいえ、特定の条件下ではStable Diffusionに明確な再現性が見られる。
- DINOを用いた分割積はデータセットを超えて最も強力な検出器であり、Swin Transformerは実データで優位、SSCDは合成データで優れる。
- Stable Diffusionでは、生成の一部で再現が生じる(LAION-Aesthetics 6+検索空間の約12Mで類似度≥0.5の生成で約1.88%)。
- ImageNet Latent Diffusion Modelはクラスレベルおよび集団レベルでのコピーの証拠が限定的で、全体的な再現性信号はStable Diffusionより弱い。
- コピーはピクセルレベルまたは再構成的であり、特定の語句を含むプロンプトが正確な再現や高度に類似した出力を引き起こすことがある(特定の絵画など)。
- LAIONデータセットにおける重複訓練画像は、Stable Diffusionにおける再現性の傾向を高める。

この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。