[論文レビュー] Detecting and Simulating Artifacts in GAN Fake Images

Xu Zhang, Svebor Karaman+1 more|arXiv (Cornell University)|Jul 15, 2019

Digital Media Forensic Detection参考文献 15被引用数 41

ひとこと要約

本論文はGANアーティファクトをシミュレートするAutoGANとGAN生成画像を識別するスペクトラムベースの検出器を導入し、ターゲットGANモデルにアクセスできない状態でも強い一般化を達成する。

ABSTRACT

To detect GAN generated images, conventional supervised machine learning algorithms require collection of a number of real and fake images from the targeted GAN model. However, the specific model used by the attacker is often unavailable. To address this, we propose a GAN simulator, AutoGAN, which can simulate the artifacts produced by the common pipeline shared by several popular GAN models. Additionally, we identify a unique artifact caused by the up-sampling component included in the common GAN pipeline. We show theoretically such artifacts are manifested as replications of spectra in the frequency domain and thus propose a classifier model based on the spectrum input, rather than the pixel input. By using the simulated images to train a spectrum based classifier, even without seeing the fake images produced by the targeted GAN model during training, our approach achieves state-of-the-art performances on detecting fake images generated by popular GAN models such as CycleGAN.

研究の動機と目的

• 攻撃者モデルが未知の場合の現実画像 vs GAN偽画像の堅牢な検出を動機づける。
• 特に周波数領域でGANのアップサンプリングに起因するアーティファクトを特定する。
• 実画像のみを用いて一般的なGANパイプラインをシミュレートするAutoGANを開発する。
• カテゴリ間の一般化を改善するスペクトラムベースの分類器を提案する。
• 見知らぬGANモデルと後処理効果への一般化を評価する。

提案手法

• GAN生成パイプラインを分析し、周波数領域でのアップサンプリングアーティファクトを識別する。
• アップサンプリング時のゼロ挿入がスペクトルを再現することを理論的に示し、スペクトラムベースの入力を動機づける。
• RGBチャネルの対数振幅スペクトルを入力とする周波数領域分類器を提案する。
• AutoGANを導入する。偽の訓練データなしでGAN風のアーティファクトを再現するグレー-box GANシミュレーター。
• 実画像とAutoGAN再構成画像の両方で分類器を訓練し、GANアーティファクトを捉える。
• 複数の意味カテゴリにわたる検出を評価し、leave-one-category-out設定を含む。後処理や異なるアップサンプラーへの頑健性もテストする。

実験結果

リサーチクエスチョン

• RQ1 スペクトラムベースの入力はピクセルベースの入力と比較して、GAN偽画像検出とカテゴリ間の一般化を改善できるか？
• RQ2 GANシミュレーター（AutoGAN）は実際の偽画像やターゲットGANモデルにアクセスせずに効果的な検出器を訓練できるか？
• RQ3 未知のGANアーキテクチャやアップサンプリングモジュールへどの程度一般化するか？
• RQ4 後処理（JPEG、リサイズ）の検出への影響は何か、再訓練で緩和できるか？

主な発見

• CycleGANデータで訓練した場合、スペクトラムベースの分類器はピクセルベースの対応物よりカテゴリ間の一般化性能が高い。
• AutoGANは偽画像なしで訓練を可能にし、CycleGANデータで依然として強い検出性能を示す。
• leave-one-out評価では、CycleGANまたはAutoGAN訓練のスペクトラムベース手法は最先端手法と競合する。
• JPEG圧縮やリサイズなどの後処理は、後処理データで再訓練されない限り性能を低下させる。
• 訓練時にアップサンプラー（転置畳み込みとNearest Neighbor）を組み合わせると、クロスサンプラー一般化が改善される。
• GauGANの結果は、著しいアーキテクチャの差がクロスモデル一般化を制限することを示し、StarGANの結果はスペクトラムベース検出器にとってより有利である。