[論文レビュー] CNN-generated images are surprisingly easy to spot... for now

Sheng-Yu Wang, Oliver Wang+3 more|arXiv (Cornell University)|Dec 23, 2019

Generative Adversarial Networks and Image Synthesis参考文献 44被引用数 42

ひとこと要約

1つのジェネレーターからCNN生成画像を識別するよう訓練された検出器は、適切なデータ拡張と多様な訓練データがある場合、見たことのないCNNジェネレーターにも驚くほど一般化する。

ABSTRACT

In this work we ask whether it is possible to create a "universal" detector for telling apart real images from these generated by a CNN, regardless of architecture or dataset used. To test this, we collect a dataset consisting of fake images generated by 11 different CNN-based image generator models, chosen to span the space of commonly used architectures today (ProGAN, StyleGAN, BigGAN, CycleGAN, StarGAN, GauGAN, DeepFakes, cascaded refinement networks, implicit maximum likelihood estimation, second-order attention super-resolution, seeing-in-the-dark). We demonstrate that, with careful pre- and post-processing and data augmentation, a standard image classifier trained on only one specific CNN generator (ProGAN) is able to generalize surprisingly well to unseen architectures, datasets, and training methods (including the just released StyleGAN2). Our findings suggest the intriguing possibility that today's CNN-generated images share some common systematic flaws, preventing them from achieving realistic image synthesis. Code and pre-trained networks are available at https://peterwang512.github.io/CNNDetection/ .

研究の動機と目的

• アーキテクチャやデータセットを横断するCNN生成画像のための普遍的な法医学検出器の提唱。
• クロスモデル検出を可能にする、CNN生成器間でアーティファクトや指紋が共有されているかを調査。
• データ拡張と訓練データの多様性が、ジェネレーターを跨ぐ一般化にどのように影響するかを評価。
• JPEG圧縮、ブラー、リサイズなどの後処理に対する検出器の頑健性を評価。

提案手法

• ForenSynthsというデータセットを構築し、11個のCNNベースのジェネレーターからの偽画像を含め、無条件、条件付き、知覚損失、ポスト処理法をまたぐ。
• RealとProGAN生成画像を識別する二値分類器としてResNet-50を訓練し、実画像をネガティブとして用いる。
• 訓練中に後処理を模倣する広範な画像拡張を適用し、一般化を促進。
• ProGANで訓練した検出器を他のすべての生成器でテストして、クロスジェネレーター一般化を評価。
• テスト時に後処理（ブラー、JPEG）に対する頑健性を評価し、実世界での適用可能性を評価。
• 従来手法と比較し、周波数領域のアーティファクトを分析して一般化の手がかりを理解。

実験結果

リサーチクエスチョン

• RQ1 1つのCNN生成器で訓練された検出器は、アーキテクチャやデータセットを超えて見られない生成器に一般化できるか。
• RQ2 訓練データの多様性と拡張が、クロスモデル一般化にどのような役割を果たすか。
• RQ3 実世界のパイプラインで遭遇する一般的な後処理操作に対する検出器の頑健性はどれほどか。
• RQ4 CNN生成画像は、異なる合成手法にわたって検出可能で移行可能なアーティファクトを共有するか。

主な発見

• ProGAN画像で訓練された分類器は、多くの未観測のGANや画像-to-画像翻訳モデルに対して驚くほど一般化する。
• 後処理を模擬するデータ拡張は、クロスジェネレーター一般化とJPEG、ブラー、リサイズへの頑健性を大幅に向上させる。
• 訓練の多様性を高める（より多くのクラス/データセット）と、約16–20クラスを超えると報酬が逓減する点まで性能が向上する。
• StyleGAN2はそのままでもProGAN訓練済み検出器で検出可能であり、同様の構成要素を持つ新しい生成器への移行性を示す。
• 一部のモデル（例: SAN, DeepFake）では拡張が性能を損ねることがあり、モデル固有の手がかりの違いを示唆する。