[論文レビュー] On the generalization of GAN image forensics

Xinsheng Xuan, Bo Peng+2 more|arXiv (Cornell University)|Feb 27, 2019

Digital Media Forensic Detection参考文献 19被引用数 9

ひとこと要約

本稿では、GAN画像フォレンジックスモデルの一般化性能を向上させるために、訓練時にガウスノイズやガウスブラーを適用する画素処理戦略を提案する。不安定な低レベルのノイズアーティファクトを抑制することで、モデルはより本質的な特徴を学習するよう強制され、未観測のGANタイプの検出性能が向上する。分布シフトの本質的要因により性能向上が限定的であるものの、未観測の偽物画像データセットにおいて10%のTNR向上を達成した。

ABSTRACT

Recently the GAN generated face images are more and more realistic with high-quality, even hard for human eyes to detect. On the other hand, the forensics community keeps on developing methods to detect these generated fake images and try to guarantee the credibility of visual contents. Although researchers have developed some methods to detect generated images, few of them explore the important problem of generalization ability of forensics model. As new types of GANs are emerging fast, the generalization ability of forensics models to detect new types of GAN images is absolutely an essential research topic. In this paper, we explore this problem and propose to use preprocessed images to train a forensic CNN model. By applying similar image level preprocessing to both real and fake training images, the forensics model is forced to learn more intrinsic features to classify the generated and real face images. Our experimental results also prove the effectiveness of the proposed method.

研究の動機と目的

• 未観測のGANアーキテクチャにおいて、既存のGAN画像フォレンジックスモデルに顕著な一般化不足が生じる問題に対処すること。
• 画像前処理が、多様で未観測のGAN生成顔画像を検出できるフォレンジックCNNの能力を向上させうるかを調査すること。
• 低レベルのノイズアーティファクトに依存するのではなく、より強固な本質的画像特徴を学習することで、クロスモデル検出性能を向上させること。
• 訓練時にターゲットドメインの偽物例を必要としない手法を開発し、実世界への適用可能性を確保すること。

提案手法

• GAN生成画像内の不安定な低レベルノイズ手がかりを破壊するために、訓練時にガウスブラー（GB）またはガウスノイズ（GN）を前処理として適用する。
• 実画像および前処理済み偽物画像を用いてフォレンジックCNNを訓練し、モデルが特定のアーティファクトではなく、より高レベルの本質的特徴を学習するように強制する。
• 標準的な交差エントロピー損失と分類ヘッドを用いて、前処理済みデータ上でモデルをエンドツーエンドに訓練する。
• PG-GAN、WGAN-GP、StyleGANなどの異なるGANタイプのテストセットを用いて、ゼロショット一般化性能を評価する。
• 前処理を一切行わないベースラインモデル（M）と比較し、前処理の一般化に与える影響を隔離する。
• 2次元特徴空間の可視化を用いて、異なるGANタイプの偽物画像間での分布シフトを説明する。

実験結果

リサーチクエスチョン

• RQ1 訓練時に画像前処理を施すことで、未観測のGANアーキテクチャに一般化するGAN画像フォレンジックスモデルの性能が向上するか？
• RQ2 低レベルのノイズアーティファクトを抑制することで、未観測の偽物画像タイプの検出性能が向上するか？
• RQ3 低レベルノイズパターンに依存するベースラインモデルと比較して、提案手法のゼロショット検出性能はどのように異なるか？
• RQ4 前処理によって、ドメイン外のGAN生成画像におけるTNRおよびACCはどの程度向上するか？

主な発見

• 提案手法（GBまたはGN）により、未観測のGANタイプにおける一般化性能が向上し、ベースラインモデルと比較してWGAN-GPおよびStyleGANのテストセットでTNRが10%向上した。
• 前処理を施したモデルは、ドメイン内テストセットでも95%を超える高い精度を維持しており、観測済みデータにおける性能劣化は認められない。
• ベースラインモデル（M）はドメイン内データで95%を超える精度を達成するが、未観測のGANタイプでは著しく低下（TNRが34.12%に低下）し、一般化性能の欠如が顕著に現れた。
• 性能向上はWGAN-GPおよびStyleGANの両テストセットで一貫しており、TNRで約10%の向上とACCの改善が観察された。
• 結果から、不安定な低レベルノイズを抑えることで、多様なGANアーキテクチャにわたるより強固な本質的特徴を学習するようモデルが強制され、これが一般化性能の向上に寄与することが示唆された。
• 一方で、全体的な性能向上は限定的であり、GANタイプ間の分布シフトが一般化の主な障壁であることが示された。