[論文レビュー] Detecting GAN generated Fake Images using Co-occurrence Matrices

Lakshmanan Nataraj, Tajuddin Manhar Mohammed+5 more|arXiv (Cornell University)|Mar 15, 2019

Digital Media Forensic Detection参考文献 50被引用数 54

ひとこと要約

この論文は、RGBチャネルの共起行列を計算し深層CNNで分類することでGAN生成の偽画像を検出する方法を提案し、CycleGANとStarGANデータセットで約99%の精度を達成し、データセット間の一般化を示す。

ABSTRACT

The advent of Generative Adversarial Networks (GANs) has brought about completely novel ways of transforming and manipulating pixels in digital images. GAN based techniques such as Image-to-Image translations, DeepFakes, and other automated methods have become increasingly popular in creating fake images. In this paper, we propose a novel approach to detect GAN generated fake images using a combination of co-occurrence matrices and deep learning. We extract co-occurrence matrices on three color channels in the pixel domain and train a model using a deep convolutional neural network (CNN) framework. Experimental results on two diverse and challenging GAN datasets comprising more than 56,000 images based on unpaired image-to-image translations (cycleGAN [1]) and facial attributes/expressions (StarGAN [2]) show that our approach is promising and achieves more than 99% classification accuracy in both datasets. Further, our approach also generalizes well and achieves good results when trained on one dataset and tested on the other.

研究の動機と目的

• 多様なGANタイプに跨るGAN生成偽画像の検出という課題を動機づけ、対処する。
• ステガノ分析に触発された共起統計に基づく検出アプローチを提案する。
• RGBチャネルからの共起行列を処理するエンドツーエンドのCNNベースの分類器を開発する。
• 複数のGANベースデータセットにわたる頑健性と一般化を評価する。

提案手法

• 画像の赤・緑・青チャネル上で直接共起行列を計算し、3x256x256の表現を形成する。
• 3x256x256テンソルを、3x3と5x5の畳み込み、プーリング、全結合層を交互に配置した多層CNNに通し、適応的SGDで最適化する。
• CycleGANとStarGANデータセットで訓練と検証を行う（訓練:半分、検証:4分の1、テスト:4分の1）。
• 先行手法と性能を比較し、精度に対するJPEG圧縮の影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 RGBチャネルの共起行列と深層学習を組み合わせて、異なるGANモデル全体でGAN生成画像を正確に検出できるか？
• RQ2 提案手法は、一方のGANベースデータセットで訓練し、別のデータセットでテストした場合に一般化するか？
• RQ3 JPEG圧縮がGAN生成画像の検出精度にどのように影響するか？
• RQ4 これらのデータセットで、提案手法は最先端のGAN検出手法とどのように比較されるか？

主な発見

訓練データセット	テストデータセット	精度
cycleGAN	StarGAN	99.49
StarGAN	cycleGAN	93.42

• CycleGANデータセットで99.71%のテスト精度、StarGANデータセットで99.37%のテスト精度を達成。
• CycleGANで訓練しStarGANでテストすると99.45%の精度、StarGANで訓練しCycleGANでテストすると93.42%。
• 評価されたカテゴリの平均でいくつかの最先端手法を上回るが、cityscapesやfacadesなど一部カテゴリの原画像評価では性能が低い。
• JPEG圧縮は元画像で訓練した場合に精度を低下させるが、JPEG圧縮画像で訓練した場合はロバスト性を向上させる。QF=75では精度は87.31%のまま。
• 異なるGANアーキテクチャにもかかわらず、本手法は多様なデータセット全般で比較的良く一般化する。