[論文レビュー] DIRE for Diffusion-Generated Image Detection

Zhendong Wang, Jianmin Bao+5 more|arXiv (Cornell University)|Mar 16, 2023

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、事前学習済みの拡散モデルによる入力画像と再構成画像の間の再構成誤差を測定する新しい画像表現DIRE（Diffusion Reconstruction Error）を提案する。生成画像は実画像よりも再構成が正確であるという事実を活用することで、未学習のモデルやさまざまな摂動に対して高い精度で拡散生成画像を検出可能であり、未学習モデルおよび摂動に対して最先端の性能を達成する。

ABSTRACT

Diffusion models have shown remarkable success in visual synthesis, but have also raised concerns about potential abuse for malicious purposes. In this paper, we seek to build a detector for telling apart real images from diffusion-generated images. We find that existing detectors struggle to detect images generated by diffusion models, even if we include generated images from a specific diffusion model in their training data. To address this issue, we propose a novel image representation called DIffusion Reconstruction Error (DIRE), which measures the error between an input image and its reconstruction counterpart by a pre-trained diffusion model. We observe that diffusion-generated images can be approximately reconstructed by a diffusion model while real images cannot. It provides a hint that DIRE can serve as a bridge to distinguish generated and real images. DIRE provides an effective way to detect images generated by most diffusion models, and it is general for detecting generated images from unseen diffusion models and robust to various perturbations. Furthermore, we establish a comprehensive diffusion-generated benchmark including images generated by eight diffusion models to evaluate the performance of diffusion-generated image detectors. Extensive experiments on our collected benchmark demonstrate that DIRE exhibits superiority over previous generated-image detectors. The code and dataset are available at https://github.com/ZhendongWang6/DIRE.

研究の動機と目的

• 拡散生成画像の信頼性の高い検出に取り組む必要性に応えること。これは、プライバシー侵害やディープフェイクのリスクを伴う。
• 類似したデータで学習しても、異なる拡散モデルに一般化できない既存の検出器の限界を克服すること。
• 未学習の拡散モデルや摂動に対しても一般化可能で、耐性があり、効率的な検出フレームワークを構築すること。
• 拡散生成画像検出器を評価する包括的なベンチマークデータセットを構築すること。
• 実画像と生成画像の再構成誤差の差が、強力で一般化可能な検出信号として機能することを示すこと。

提案手法

• DIREを新しい画像表現として提案する。DIREは、元の画像と事前学習済み拡散モデルによる再構成画像との絶対差として計算される。
• DDIMに基づく逆問題とノイズ除去を用いて入力画像を再構成し、拡散モデルが自身が生成した出力の再構成をより正確にできるという事実を活用する。
• DIRE特徴量上でシンプルなバイナリ分類器を学習し、実画像と生成画像を区別する。これにより、未学習のモデルへの一般化が保証される。
• 再構成残差に絶対値演算を適用することで、特にStable Diffusion v1のような困難なモデルにおいて、検出性能を著しく向上させることを確認した。
• 周波数およびノイズパターンの分析により、DIREが実画像と生成画像の間の低レベルな差を的確に捉えていることを定性的に検証した。
• LSUN-BedroomおよびImageNet上で、8種類の多様な拡散モデル（非条件、条件付き、テキスト到画像バリエーションを含む）から画像を収集し、DiffusionForensicsベンチマークデータセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 再構成誤差に基づく表現は、実画像と拡散生成画像を効果的に区別できるか？
• RQ2 DIRE表現は、学習時に使用されていない拡散モデルに対しても一般化可能か？
• RQ3 DIREベースの検出器は、ガウスノイズ、ぼかし、JPEG圧縮などの一般的な画像摂動に対してどれほど耐性があるか？
• RQ4 DDIMサンプリングステップ数の増加が、DIREベースの検出性能に与える影響は何か？
• RQ5 検出タスクにおいて、DIREはRGB画像や再構成画像よりも効果的な入力表現であるか？

主な発見

• DIREは、未学習のStable Diffusion v1で生成された画像に対して99.7％の精度と100％の平均適合率を達成し、先行手法を著しく上回った。
• DIREベースの検出器は、学習データに含まれないモデルに対しても効果的に一般化可能であり、実画像と生成画像の再構成誤差の差がその根拠となっている。
• 再構成残差に絶対値を適用することで、SD-v1では最大12.7ポイントの精度向上が確認され、この操作が極めて重要であることが裏付けられた。
• ガウスノイズ、ぼかし、JPEG圧縮などのさまざまな摂動に対しても、高い検出性能を維持するという耐性を示した。
• 定性的な分析から、DIREは低レベルな差を捉えていることが示された：実画像は生成画像よりも構造的なノイズパターンとより豊かな周波数スペクトルを示す。
• DIREとRGB画像を組み合わせると性能が劣化するため、DIRE単体が検出タスクにおいてより効果的で十分な表現であることが示された。