[論文レビュー] On the detection of synthetic images generated by diffusion models

Riccardo Corvi, Davide Cozzolino+4 more|arXiv (Cornell University)|Nov 1, 2022

Digital Media Forensic Detection被引用数 10

ひとこと要約

本稿では、拡散モデル（DMs）によって生成された合成画像の検出可能性を調査しており、DMによって生成された画像はGANと同様に微細なフォレンジックな痕跡を示すが、GAN専用に訓練された最先端の検出器は、DM画像に対しては性能が著しく劣り、特に圧縮やリサイズといった現実世界の条件下では顕著に劣化することが明らかになった。本研究では、DM固有のデータでファインチューニングされた検出器が、高い検出精度（例：Stable Diffusionでは97.2% AUC）を達成することを示しているが、多様なDMアーキテクチャにわたる一般化は依然として大きな課題である。

ABSTRACT

Over the past decade, there has been tremendous progress in creating synthetic media, mainly thanks to the development of powerful methods based on generative adversarial networks (GAN). Very recently, methods based on diffusion models (DM) have been gaining the spotlight. In addition to providing an impressive level of photorealism, they enable the creation of text-based visual content, opening up new and exciting opportunities in many different application fields, from arts to video games. On the other hand, this property is an additional asset in the hands of malicious users, who can generate and distribute fake media perfectly adapted to their attacks, posing new challenges to the media forensic community. With this work, we seek to understand how difficult it is to distinguish synthetic images generated by diffusion models from pristine ones and whether current state-of-the-art detectors are suitable for the task. To this end, first we expose the forensics traces left by diffusion models, then study how current detectors, developed for GAN-generated images, perform on these new synthetic images, especially in challenging social-networks scenarios involving image compression and resizing. Datasets and code are available at github.com/grip-unina/DMimageDetection.

研究の動機と目的

• 拡散モデルによって生成された画像に、GANによって生成された画像と類似した検出可能なフォレンジックな痕跡が存在するかどうかを評価すること。
• 圧縮やリサイズなどの現実的条件下で、既存の最先端のGANベースの検出器が拡散モデルによって生成された画像を検出する際の耐性を評価すること。
• DMによって生成されたデータで検出器をトレーニングすることで、多様な拡散アーキテクチャにわたる検出性能が向上するかどうかを調査すること。
• 複数の合成画像ソースにわたる検出器の一般化を向上させるための統合とキャリブレーション技術の検討。

提案手法

• DALL·E 2、Stable Diffusion、GLIDE、ADMを含む、最先端のテキストから画像への拡散モデルを用いて大規模な合成画像データセットを生成した。
• SNSでの処理を模倣する現実的な画像洗浄手順（ランダムクロッピング、200×200ピクセルへのリサイズ、65〜100の品質因子を有するJPEG圧縮）を適用した。
• 理想状態と困難な状況下で、GANおよびDMによって生成された画像に対して、深層学習ベースの検出器（Grag2021など）をトレーニングおよび評価した。
• ProGANやLatent Diffusionなどの異なるソースタイプでトレーニングされたモデルの予測を統合し、アーキテクチャを越えた検出性能を向上させた。
• 低精度領域における検出精度の向上を図るため、 Plattスケーリングを用いて確率をキャリブレーションした。
• 異なる拡散モデルやトレーニング環境における検出器性能を比較するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルによって生成された画像は、GANによって生成された画像と類似した検出可能なフォレンジックな痕跡を示すか？
• RQ2 現実的な画像処理（例：圧縮やリサイズ）下で、現在の最先端のGANベースの検出器は、拡散モデルによって生成された画像をどの程度正しく検出できるか？
• RQ3 特定の拡散モデルでトレーニングされた検出器は、類似または異なる拡散アーキテクチャからの画像を検出する能力をどの程度向上させ得るか？
• RQ4 モデル統合とキャリブレーションは、多様な合成画像ソースにわたる検出精度を顕著に向上させ得るか？

主な発見

• 拡散モデルによって生成された画像には検出可能なフォレンジックな痕跡が存在するが、DALL·E 2 や ADM など、異なる拡散アーキテクチャ間で痕跡の強さに顕著な差が認められ、特にDALL·E 2 や ADM では弱いアーチファクトが観察された。
• 現実的条件下で、最先端のGANベースの検出器はDM生成画像に対して著しく性能を発揮せず、平均して約50％の精度に低下しており、一般化能力の欠如が示された。
• Latent Diffusion や Stable Diffusion のデータで特定にトレーニングされた検出器は、それぞれのソースモデルに対してほぼ完璧な検出性能（AUC > 99.8％）を達成しており、ソース固有のトレーニングの重要性が裏付けられた。
• 異なるソースでトレーニングされたモデルの予測を統合することで、平均してAUCが94.1％まで向上したが、最適でないしきい値設定のため、精度は依然として低く（64.5％）にとどまった。
• Plattスケーリングによるキャリブレーションにより、統合後の精度が著しく向上（最大87.8％）したが、DALL·E 2 や ADM のような明確に異なるアーチファクトプロファイルを示すモデルについては、依然として検出が信頼性に欠ける状態であった。
• 本研究は、高度な統合とキャリブレーション技術を用いても、多様な拡散モデルにわたる一般化が依然として重要な課題であることを確認した。