[論文レビュー] Towards the Detection of Diffusion Model Deepfakes

Jonas Ricker, Simon Damm+2 more|arXiv (Cornell University)|Oct 26, 2022

Digital Media Forensic Detection被引用数 25

ひとこと要約

本論文は、事前学習済みのGAN検出器が拡散モデル（DM）によるディープフェイクを検出するのに苦労する一方、DM由来画像で検出器を再学習させると検出性能がほぼ完璧になり、GANにも一般化することを示している；DM画像は特に高周波においてアーティファクトが少なく、これは訓練目標の影響による。

ABSTRACT

In the course of the past few years, diffusion models (DMs) have reached an unprecedented level of visual quality. However, relatively little attention has been paid to the detection of DM-generated images, which is critical to prevent adverse impacts on our society. In contrast, generative adversarial networks (GANs), have been extensively studied from a forensic perspective. In this work, we therefore take the natural next step to evaluate whether previous methods can be used to detect images generated by DMs. Our experiments yield two key findings: (1) state-of-the-art GAN detectors are unable to reliably distinguish real from DM-generated images, but (2) re-training them on DM-generated images allows for almost perfect detection, which remarkably even generalizes to GANs. Together with a feature space analysis, our results lead to the hypothesis that DMs produce fewer detectable artifacts and are thus more difficult to detect compared to GANs. One possible reason for this is the absence of grid-like frequency artifacts in DM-generated images, which are a known weakness of GANs. However, we make the interesting observation that diffusion models tend to underestimate high frequencies, which we attribute to the learning objective.

研究の動機と目的

• 最先端のGAN検出器が実画像とDM生成画像を識別できるかを評価する。
• DM生成画像で再訓練した検出器の、異なるモデル間での一般化を評価する。
• DM生成画像の特徴表現および周波数領域特性を分析する。
• DM拡散モデルの周波数挙動とアーティファクトの出現原因を調査する。

提案手法

• AUROCおよびPd@FAR（1%）を用いて、DMおよびGAN画像上で3つのCNNベース検出器（Wang2020, Gragnaniello2021, Mandelli2022）を評価する。
• DM生成画像で検出器を再訓練し、複数のDMおよびGAN生成器間でのモデル横断一般化を検証する。
• t-SNEで学習済み特徴空間を分析し、DFT、DCT、低分周スペクトルを用いて周波数領域のアーティファクトを調査する。
• 拡散訓練目的がデノising中の高周波成分とスペクトルの過小評価に与える影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 事前訓練済みのGAN検出器は、実画像とDM生成画像を信頼性高く識別できるか。
• RQ2 DM生成データで検出器を再訓練するとDM検出が改善され、GANにも一般化するか。
• RQ3 DM生成画像とGAN生成画像の特徴表現および周波数領域アーティファクトにはどのような差異があるか。
• RQ4 DM訓練目的が生成画像の高周波成分にどのように影響するか。
• RQ5 拡散過程のサンプリングステップ数は、スペクトルの精度と検出可能性にどのように影響するか。

主な発見

• 事前訓練済みのGAN検出器は、DM生成画像で顕著な性能低下を経験する（平均AUROCの低下約15.2ポイント）。
• DM生成画像で再訓練した検出器は、DMデータ上でほぼ完璧な検出を達成し、GANにも一般化する。
• DM画像で訓練された検出器は、GAN生成画像とDM生成画像を類似の埋め込みにマッピングし、DM特有のアーティファクトが少ないことを示している。
• DM生成画像は一般的にGANに特徴的な格子状の周波数アーティファクトを欠き、DM訓練目的のため高周波成分を過小評価する傾向がある。
• 拡散デノイジングステップ数を増やすと高周波再現と検出性能が向上し、ステップ数が少ないと過小評価が大きくなる。