[論文レビュー] A Single Simple Patch is All You Need for AI-generated Image Detection

Jiaxuan Chen, Jieteng Yao+1 more|arXiv (Cornell University)|Feb 2, 2024

COVID-19 diagnosis using AIMedicine被引用数 3

ひとこと要約

本稿では、画像から単一の最小限の 32×32 パッチを抽出し、バイナリ分類器を用いてそのノイズパターンを分析することで、AI生成画像を検出する、非常に効果的で汎用性の高い手法 SSP（Single Simple Patch）を提案する。単純であるにもかかわらず、GenImage データセットにおいて最強のベースライン比で相対的に 14.6% の性能向上を達成し、さまざまな拡散モデルおよび GAN ベースの生成モデル間で優れたクロスジェネレーター一般化性能を示している。

ABSTRACT

The recent development of generative models unleashes the potential of generating hyper-realistic fake images. To prevent the malicious usage of fake images, AI-generated image detection aims to distinguish fake images from real images. However, existing method suffer from severe performance drop when detecting images generated by unseen generators. We find that generative models tend to focus on generating the patches with rich textures to make the images more realistic while neglecting the hidden noise caused by camera capture present in simple patches. In this paper, we propose to exploit the noise pattern of a single simple patch to identify fake images. Furthermore, due to the performance decline when handling low-quality generated images, we introduce an enhancement module and a perception module to remove the interfering information. Extensive experiments demonstrate that our method can achieve state-of-the-art performance on public benchmarks.

研究の動機と目的

• 多様な生成モデル、特に異なる拡散モデルおよび GAN ベースの生成モデル間で一般化性能が低い既存の AI 生成画像検出手法の課題に対処すること。
• 複雑なアーキテクチャや広範なハイパーパramータチューニングを必要とせず、高い性能を達成できるシンプルだが頑健なベースライン手法を開発すること。
• 最小限の画像パッチに、信頼性の高い偽物画像検出に十分な判別性のあるノイズパターンが含まれることを示すこと。

提案手法

• 入力画像ごとに 192 個のランダムな 32×32 パッチを抽出し、テクスチャの複雑さが最小となるものを「最もシンプルなパッチ」として選択することで、構造的コンテンツを最小限に抑え、ノイズの可視性を最大化する。
• 選択されたパッチのノイズパターンは、標準的なハイパスフィルタ（例：SRM フィルタ）を用いて抽出され、合成画像に特徴的な微細スケールのアーティファクトを強調する。
• 得られたノイズ表現はバイナリ分類器に供給され、ノイズパターンにおける微妙な統計的差異に基づいて本物画像と偽物画像を区別する。
• 本手法は最小限のパイプラインに依存する：パッチ選択、単純なフィルタを用いたノイズ抽出、分類。複雑な特徴工学やマルチブランチネットワークを避ける。
• 本手法は一つの生成モデルのトレーニングサブセットで学習され、他の生成モデルのテストサブセットで評価されるため、クロスジェネレーター一般化性能の評価が可能となる。

実験結果

リサーチクエスチョン

• RQ1 一括の最小限の処理を施した画像パッチが、多様な生成モデル間で競争力のある性能を発揮できるか？
• RQ2 複雑な最先端モデルと比較して、単純なパッチベース手法はクロスジェネレーター検出シナリオでどの程度の性能を示すか？
• RQ3 一括のシンプルなパッチ内のノイズパターンに、本物画像と AI 生成画像を区別するのに十分な判別情報が含まれるか？
• RQ4 提案手法は、拡散モデルおよび GAN ベースのモデルを含む、さまざまな生成モデル間でどの程度一般化できるか？

主な発見

• SSP は GenImage テストセットで平均 93.5% の精度を達成し、最も強力なベースライン（GenDet）の 81.6% に対して相対的に 14.6% の向上を示した。
• SD V1.4 → VQDM などの困難なクロスジェネレーター設定において、SSP は 94.4% の精度を達成し、CNNSpot（56.7%） や F3Net（62.1%） といったベースラインを著しく上回った。
• クロスジェネレーター評価において、SSP は 64 のすべての設定で ResNet-50 や他の強力なベースラインを一貫して上回り、頑健な一般化性能を示した。
• Midjourney や Stable Diffusion の同一生成モデル内検出では、ほぼ完璧な性能（99.4%–99.9%）を達成しており、馴染みのある生成モデルにおける強い検出能力を示している。
• 極めてシンプルなアーキテクチャであるにもかかわらず、BigGAN や ADM、GLIDE など、ベースラインがしばしば失敗する多様な生成モデル間でも、SSP は効果的に一般化した。