[論文レビュー] Exposing the Fake: Effective Diffusion-Generated Images Detection

Ruipeng Ma, Jinhao Duan+3 more|arXiv (Cornell University)|Jul 12, 2023

Generative Adversarial Networks and Image Synthesis被引用数 10

ひとこと要約

SeDID は拡散モデルのステップごとの逆ノイズ誤差を活用して拡散生成画像を検出する。2つのブランチ（統計的および NN ベース）が CIFAR10、TinyImageNet、CelebA で従来法を上回る。

ABSTRACT

Image synthesis has seen significant advancements with the advent of diffusion-based generative models like Denoising Diffusion Probabilistic Models (DDPM) and text-to-image diffusion models. Despite their efficacy, there is a dearth of research dedicated to detecting diffusion-generated images, which could pose potential security and privacy risks. This paper addresses this gap by proposing a novel detection method called Stepwise Error for Diffusion-generated Image Detection (SeDID). Comprising statistical-based $ ext{SeDID}_{ ext{Stat}}$ and neural network-based $ ext{SeDID}_{ ext{NNs}}$, SeDID exploits the unique attributes of diffusion models, namely deterministic reverse and deterministic denoising computation errors. Our evaluations demonstrate SeDID's superior performance over existing methods when applied to diffusion models. Thus, our work makes a pivotal contribution to distinguishing diffusion model-generated images, marking a significant step in the domain of artificial intelligence security.

研究の動機と目的

• 拡散生成画像を検出する必要性を動機づけ、初期ステップの再構成のみに依存する従来法の限界に対処する。
• 中間の拡散ステップ全体にわたる決定論的なリバースおよびデノイズ誤差を利用する SeDID を提案する。
• 実データと生成データとの分布差を強調するメンバーシップ推定攻撃の視点を適用する。
• Providing dual detection branches (statistical and neural-network) and evaluate on multiple datasets.
• SeDID が既存のアプローチより優れた検出性能を達成することを示す。

提案手法

• 決定論的デノイズおよびリバース関数（ψθ および φθ）を定式化し、reverse と denoise サンプルの差を測る t,δ-誤差（E_{t,δ}）を定義する。
• 選択した拡散時刻において E_{T_SE} を計算するための Stepwise Error Calculation Time Step T_SE とステップサイズ δ を定義する。
• SeDID を 2 種類の variante で開発する: SeDID_Stat（E_{T_SE,δ} を用いた閾値ベースの分類）と SeDID_NNs（中間拡散出力から実データ vs 合成データを予測するよう訓練された ResNet-18）。
• 両ブランチの評価指標として AUC、ACC、および TPR@FPR を用いる。
• DDPM/DDIM 風プロセスの式に基づき、付録で Latent Diffusion Model (LDM) に適用する。
• SecMI に触発されたメンバーシップ推定のアイデアを取り入れ、実データと生成データの分布差を強調する。

実験結果

リサーチクエスチョン

• RQ1 実データと拡散生成画像を、自然画像と拡散合成画像の分布差を活用して区別できるか。
• RQ2 拡散プロセスの中間ステップは、x0 での最終反転を超えて検出に有益な信号を含むか。
• RQ3 SeDID は DIRE や SecMI ベースのアプローチなど、既存の拡散生成画像検出器より優れているか。

主な発見

T	CIFAR10 AUC	CIFAR10 ACC	TinyImageNet AUC	TinyImageNet ACC	CelebA AUC	CelebA ACC
165	0.4954	0.5089	0.1278	0.5000	0.9985	0.9843
330	0.5415	0.5279	0.0606	0.5000	0.4213	0.5103
495	0.5695	0.5579	0.5125	0.5240	0.2240	0.5001
660	0.5667	0.5845	0.4971	0.6059	0.1866	0.5489
825	0.8650	0.7992	0.9827	0.9615	0.0001	0.5000
990	0.8875	0.8244	0.9998	0.9966	0.0000	0.5000

• SeDID の variante は、3 データセット（CIFAR10、TinyImageNet、CelebA）全てで既存法より高い AUC と ACC を達成する。
• CIFAR10 AUC 0.8874, ACC 0.8244; TinyImageNet AUC 0.9266, ACC 0.9004; CelebA AUC 0.9983, ACC 0.9825。
• SeDID_NNs: CIFAR10 AUC 0.8903, ACC 0.8218; TinyImageNet AUC 0.9999, ACC 0.9980; CelebA AUC 1.0000, ACC 1.0000。
• 平均比較（データセット横断）では、ベースライン手法（Matsumoto et al. 2023）に対して顕著な改善を示す。
• 最適検出性能は T_SE および δ に応じて変化し、δ = 165 が各データセットで最良の結果をもたらす。
• Table 1 の結果では、CIFAR10 および TinyImageNet で拡散時間 T を大きくすると検出性能が向上する一方、CelebA は高い T で異なる傾向を示す。