[論文レビュー] Global Texture Enhancement for Fake Face Detection in the Wild

Zhengzhe Liu, Xiaojuan Qi+1 more|arXiv (Cornell University)|Feb 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 27

ひとこと要約

この論文では、学習可能なグラムブロックを用いてグローバルなテクスチャ表現を活用することで、偽顔検出を向上させる新規なCNNアーキテクチャであるGram-Netを提案する。GAN間で不変で、画像の歪みに対しても頑健な、強力な長距離テクスチャ統計を捉えることで、特にクロス-GAN一般化および編集済みまたは自然な偽画像の検出において最先端の性能を達成し、未学習のGANでは10%以上、BigGANによって生成された自然な画像では10%以上の優位性を示した。

ABSTRACT

Generative Adversarial Networks (GANs) can generate realistic fake face images that can easily fool human beings.On the contrary, a common Convolutional Neural Network(CNN) discriminator can achieve more than 99.9% accuracyin discerning fake/real images. In this paper, we conduct an empirical study on fake/real faces, and have two important observations: firstly, the texture of fake faces is substantially different from real ones; secondly, global texture statistics are more robust to image editing and transferable to fake faces from different GANs and datasets. Motivated by the above observations, we propose a new architecture coined as Gram-Net, which leverages global image texture representations for robust fake image detection. Experimental results on several datasets demonstrate that our Gram-Net outperforms existing approaches. Especially, our Gram-Netis more robust to image editings, e.g. down-sampling, JPEG compression, blur, and noise. More importantly, our Gram-Net generalizes significantly better in detecting fake faces from GAN models not seen in the training phase and can perform decently in detecting fake natural images.

研究の動機と目的

• 本物の顔とGANで生成された偽顔の間のテクスチャの本質的差異を理解すること。
• CNNベースの検出器が、圧縮、ぼかし、リサイズなどの実世界の画像歪みに対してなぜ失敗するかを調査すること。
• 多様なGANモデルや未学習の画像ソースにおいて、検出器の頑健性と一般化性能を向上させること。
• 異なるGANアーキテクチャおよび画像操作に対して不変なグローバルなテクスチャ統計を捉える手法を開発すること。

提案手法

• 複数の意味的レベルでの特徴マップからグローバルなテクスチャ表現を計算する、学習可能なレイヤー「グラムブロック」を導入する。
• CNNバックボーンにグラムブロックを統合し、局所的な畳み込み特徴にグローバルなテクスチャコンテキストを補完する。
• グレイレベル同時出現行列（GLCM）統計を用いて、さまざまな画像歪み下でのグローバルなテクスチャ特徴の頑健性を分析・検証する。
• StyleGAN、PGGAN、DCGAN、DRAGAN、StarGANを含む多様なGANで生成された顔データセットおよび本物の顔データセットを用いて、Gram-Netをエンドツーエンドで訓練する。
• 再訓練なしに、BigGANから生成された自然な偽画像を直接検出するために訓練済みモデルを適用し、ゼロショット一般化を示す。
• 識別器にグラムブロックを組み込んだ状態でStyleGANを微調整し、提案されたテクスチャ表現の転送可能性と一貫性を検証する。

実験結果

リサーチクエスチョン

• RQ1 本物の顔とGANで生成された偽顔のテクスチャ統計には、どのような違いがあるか？
• RQ2 既存のCNNベースの偽顔検出器が、画像が編集された（例：圧縮やぼかし処理が施された）状況でなぜ失敗するのか？
• RQ3 局所的特徴よりも、グローバルなテクスチャ表現のほうが、異なるGANアーキテクチャおよび画像歪みに対してより不変であるか？
• RQ4 明示的にグローバルなテクスチャ統計をモデル化する深層学習モデルは、未学習のGANや自然な偽画像に対してより良い一般化性能を示せるか？

主な発見

• Gram-Netは、StarGANのような未学習のGANモデルからの偽顔検出において、ベースラインより10%の精度向上を達成した。
• ぼやけた画像では15%、ノイズのある画像では13%、リサイズされた画像では10%、JPEG圧縮画像では9%の性能向上を示した。
• BigGANから生成された自然な偽画像への一般化において、ImageNet vs. BigGANで80.29%の精度を達成し、次に優れた手法より10%の向上を示した。
• トレーニング段階でGANの識別器にグラムブロックを挿入しても、Gram-Netは優れた性能を維持しており、提案されたテクスチャ表現の頑健性を確認した。
• クロスデータセット評価では、より現実的なデータセット（例：FFHQ）で学習し、より現実的でないデータセット（例：CelebA-HQ）でテストした場合、Gram-Netはベースラインを上回った。
• GLCMを用いた低レベルのテクスチャ分析により、すべての測定距離で本物の画像が偽画像よりも明確に強いテクスチャコントラストを示すことが確認され、本手法の核心的仮定が妥当であることが裏付けられた。