[論文レビュー] PatchCraft: Exploring Texture Patch for Efficient AI-generated Image Detection

Nan Zhong, Yiran Xu+3 more|arXiv (Cornell University)|Nov 21, 2023

Radiomics and Machine Learning in Medical Imaging被引用数 6

ひとこと要約

本稿では、多様な生成モデルをカバーする偽造画像を検出する普遍的なAI生成画像検出器PatchCraftを提案する。この手法は、豊富なテクスチャ領域と貧弱なテクスチャ領域の間のピクセル間相関の対比を活用し、生成モデルの種別にかかわらず偽造画像を検出する。画像をテクスチャ対比パッチから再構築し、普遍的なフィンガープリント特徴量を抽出することで、16種類の生成モデルを含む新ベンチマークにおいて平均89.31%の精度を達成し、最先端手法を約5%上回る性能を示した。

ABSTRACT

Recent generative models show impressive performance in generating photographic images. Humans can hardly distinguish such incredibly realistic-looking AI-generated images from real ones. AI-generated images may lead to ubiquitous disinformation dissemination. Therefore, it is of utmost urgency to develop a detector to identify AI generated images. Most existing detectors suffer from sharp performance drops over unseen generative models. In this paper, we propose a novel AI-generated image detector capable of identifying fake images created by a wide range of generative models. We observe that the texture patches of images tend to reveal more traces left by generative models compared to the global semantic information of the images. A novel Smash&Reconstruction preprocessing is proposed to erase the global semantic information and enhance texture patches. Furthermore, pixels in rich texture regions exhibit more significant fluctuations than those in poor texture regions. Synthesizing realistic rich texture regions proves to be more challenging for existing generative models. Based on this principle, we leverage the inter-pixel correlation contrast between rich and poor texture regions within an image to further boost the detection performance. In addition, we build a comprehensive AI-generated image detection benchmark, which includes 17 kinds of prevalent generative models, to evaluate the effectiveness of existing baselines and our approach. Our benchmark provides a leaderboard for follow-up studies. Extensive experimental results show that our approach outperforms state-of-the-art baselines by a significant margin. Our project: https://fdmas.github.io/AIGCDetect

研究の動機と目的

• 急速にリアルなAI生成画像が拡散し、誤情報の拡散を助長する中で、堅牢で汎用性の高い検出器の開発が急務であることを解決する。
• 未学習の生成モデルからの画像を検出する際、既存の検出器が著しく性能を落とすという限界を克服する。
• 多様な生成モデルにわたって一貫性を持つ、テクスチャ領域の複雑さの内在的差異に基づく普遍的なフィンガープリント特徴量を開発する。
• 16種類の代表的な生成モデルおよび商用APIをカバーする包括的ベンチマークを確立し、AI生成画像検出器の公平かつ包括的な評価と比較を可能にする。
• ピクセル間相関の対比が、モデルに依存しない信頼性の高い偽造画像検出シグナルとして機能することを実証する。

提案手法

• 入力画像を空間的パッチに分割し、豊富なテクスチャパッチと貧弱なテクスチャパッチを用いて2種類の再構築画像を生成することで、テクスチャベースの特徴を分離する。
• 意味的コンテンツを消去するため、Smash&Reconstruction (S&R) 手順を適用し、検出器が高レベルの意味的特徴ではなく、低レベルのテクスチャ統計に依存することを保証する。
• ハイパスフィルタを用いて、豊富なテクスチャ領域と貧弱なテクスチャ領域間のピクセル間相関対比特徴量を抽出し、人工的テクスチャパターンを検出する。
• 生成モデルがランダムノイズから高エントロピーの豊富なテクスチャ領域を合成する困難さを、普遍的なフィンガープリントとして活用する。
• ProGANで生成された偽造画像のみで学習した1つの分類器を訓練し、Stable Diffusion、BigGAN、Midjourney、DALL-E 2など、未学習のモデルへの一般化性能を評価する。
• パッチ境界におけるハイパスフィルタリングを適用し、人工的テクスチャ変動の検出を強化するとともに、ブロッキングアーティファクトを低減する。

実験結果

リサーチクエスチョン

• RQ1 豊富なテクスチャ領域と貧弱なテクスチャ領域間のピクセル間相関対比は、多様な生成モデルをカバーする普遍的なフィンガープリントとして、AI生成画像検出に有効であるか？
• RQ2 Midjourney や Stable Diffusion といった未学習の生成モデルに対して、本手法がゼロショット一般化性能をどのように発揮するか？
• RQ3 パッチ再構築による意味的情報の除去は、検出器のロバスト性および一般化性能をどの程度向上させるか？
• RQ4 Smash&Reconstruction、境界フィルタリング、対比特徴抽出という各コンポonentが、全体の検出精度に果たす寄与度はどの程度か？
• RQ5 16種類の生成モデルと複数の検出器を含む統一されたベンチマークは、AI生成画像検出手法の公平かつ包括的な評価を可能にするか？

主な発見

• 提案手法PatchCraftは、16種類の多様な生成モデルで平均89.31%の検出精度を達成し、最先端のベースラインを平均で約5ポイント上回った。
• アブレーションスタディの結果、Smash&Reconstruction (S&R) コンポーネントを除去すると精度が73.34%に低下し、意味的抑制が一般化性能にとって不可欠であることが示された。
• 境界認識ハイパスフィルタリングコンポーネントは顕著な寄与を示し、除去すると精度が3.43%低下した。これは、パッチレベルのアーティファクト検出におけるその役割の重要性を示している。
• 対比ベースの特徴抽出（w/o Contrast）でさえ、空間的入力（w/o S&R）を上回る性能を示しており、生画像特徴量よりもテクスチャ対比がより効果的なシグナルであることが確認された。
• 検出器は未学習モデルに対しても効果的に一般化する。ProGANデータでのみ学習したにもかかわらず、SDv1.5では94.57%、DALL-E 2では96.75%の精度を達成した。
• 包括的ベンチマークには16種類の生成モデルと8種類の検出器が含まれており、将来的な研究を支援するため、公開されたランクイングボードを提供している。