[論文レビュー] Towards Universal Fake Image Detectors that Generalize Across Generative Models

Utkarsh Ojha, Yuheng Li+1 more|arXiv (Cornell University)|Feb 20, 2023

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文は、固定された事前学習済みの視覚言語特徴空間（例：CLIP-ViT）を用いることで、異なる生成モデルに一般化するユニバーサルな偽画像検出器を提案する。分類器をエンドツーエンドで訓練するのではなく、これらの特徴空間上で単純な最近傍探索または線形プローブを適用することで、未学習の拡散モデルや自己回帰モデルの偽画像に対して、先行研究と比較してmAPが+15.05、精度が+25.90%向上する最先端の一般化性能を達成する。

ABSTRACT

With generative models proliferating at a rapid rate, there is a growing need for general purpose fake image detectors. In this work, we first show that the existing paradigm, which consists of training a deep network for real-vs-fake classification, fails to detect fake images from newer breeds of generative models when trained to detect GAN fake images. Upon analysis, we find that the resulting classifier is asymmetrically tuned to detect patterns that make an image fake. The real class becomes a sink class holding anything that is not fake, including generated images from models not accessible during training. Building upon this discovery, we propose to perform real-vs-fake classification without learning; i.e., using a feature space not explicitly trained to distinguish real from fake images. We use nearest neighbor and linear probing as instantiations of this idea. When given access to the feature space of a large pretrained vision-language model, the very simple baseline of nearest neighbor classification has surprisingly good generalization ability in detecting fake images from a wide variety of generative models; e.g., it improves upon the SoTA by +15.07 mAP and +25.90% acc when tested on unseen diffusion and autoregressive models.

研究の動機と目的

• 1つ（例：GAN）の生成モデルで訓練された既存の偽画像検出器が、未学習のモデル（例：拡散、自己回帰）からの偽画像を検出できないという一般化の欠如に対処すること。
• 現在のディープラーニングベースの検出器が、異なる生成モデルファミリー間で一般化に失敗する理由を調査すること。
• 各新しい生成モデルに対して再訓練を必要としない、シンプルで堅牢なユニバーサル偽検出のベースラインを構築すること。
• 多様な偽画像タイプのゼロショット検出に効果的な特徴空間の重要な特性を同定すること。

提案手法

• 1つの生成モデル（例：ProGAN）の実画像および偽画像の事前特徴バンクを用意し、大規模で事前学習済みの視覚言語モデル（CLIP-ViT）を用いて画像から固定された特徴を抽出し、エンドツーエンドの分類器訓練を回避する。
• CLIP特徴空間内で最近傍探索を用いて実画像対偽画像分類を実行し、1つの生成モデル（例：ProGAN）からの実画像および偽画像の事前特徴バンクを用いる。
• 代替として、同じ実／偽特徴バンク上で線形プローブを適用する。この線形プローブは1層の線形層で構成され、同じバンクデータで訓練される。
• 耐性を高めるために、データオーグメンテーション（ガウスノイズ、JPEG圧縮）を用いて線形プローブを訓練する。
• 未学習の生成モデル（拡散モデル：LDM、Glide、自己回帰モデル：DALL-E）に対する一般化性能を評価する。
• データセットサイズ、特徴空間の質、データ分布が検出性能に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 既存の偽画像検出器が、GANから拡散モデルへの一般化に失敗する理由は何か？
• RQ2 固定された事前学習済み特徴空間が、微調整なしに未学習の生成モデルからの偽画像をゼロショットで検出可能か？
• RQ3 ユニバーサルな偽画像検出に効果的な特徴空間の特性は何か？
• RQ4 エンドツーエンドで訓練されたモデルと比較して、最近傍探索や線形プローブといったシンプルなベースラインのモデル間一般化性能はどの程度か？
• RQ5 線形プローブの訓練時にデータオーグメンテーションを適用することで、ぼかしやJPEG圧縮といった一般的な画像操作に対して、どの程度耐性が向上するか？

主な発見

• CLIP-ViTの特徴空間内で最近傍探索を用いる分類は、未学習の拡散モデルおよび自己回帰モデルの偽画像に対して、SoTAと比較してmAPが+15.05、精度が+25.90%向上する。
• CLIP特徴上での線形プローブは、同じ未学習モデルに対してmAPが+19.49、精度が+23.39%向上し、強力な一般化性能を示す。
• 従来の分類器では、低レベルのアーティファクトに対する非対称な学習のため、実クラスが「吸収クラス」となって、GAN以外の偽画像が誤って実画像と分類される。
• 本手法は生成モデルの種類を問わず効果的に一般化する：GANのデータを用いて拡散モデルや自己回帰モデルの偽画像を検出可能であり、逆も同様。
• インターネット規模のデータで事前学習された画像エンコーダー（例：CLIP）が不可欠である。ImageNetのみで学習されたエンコーダーでは一般化が失敗する。
• 本手法は、バックボーンが明示的にこのような耐性を学習していなくても、ガウスノイズやJPEG圧縮といった一般的な後処理操作に対して堅牢である。