[論文レビュー] Detecting GAN-generated Imagery using Color Cues

Scott McCloskey, Michael Albright|arXiv (Cornell University)|Dec 19, 2018

Digital Media Forensic Detection参考文献 12被引用数 67

ひとこと要約

本論文はGANジェネレーターのアーキテクチャを分析し、色に関する手掛かりを明らかにするとともに、GAN生成画像と実撮影の画像を区別するための2つのフォレンジック手法—彩度ベースとカラー画像統計—を提案します。

ABSTRACT

Image forensics is an increasingly relevant problem, as it can potentially address online disinformation campaigns and mitigate problematic aspects of social media. Of particular interest, given its recent successes, is the detection of imagery produced by Generative Adversarial Networks (GANs), e.g. `deepfakes'. Leveraging large training sets and extensive computing resources, recent work has shown that GANs can be trained to generate synthetic imagery which is (in some ways) indistinguishable from real imagery. We analyze the structure of the generating network of a popular GAN implementation, and show that the network's treatment of color is markedly different from a real camera in two ways. We further show that these two cues can be used to distinguish GAN-generated imagery from camera imagery, demonstrating effective discrimination between GAN imagery and real camera images used to train the GAN.

研究の動機と目的

• GAN生成画像およびオンラインの偽情報に対抗するための画像フォレンジックスの動機づけ。
• GANジェネレーターのアーキテクチャを分析し、GAN出力と実画像を区別する色に基づく手掛かりを特定する。
• 限られた学習データで機能する、これらの手掛かりを活用した実用的な検出器を提案する。
• GANとカメラ画像の判別を評価するため、ベンチマークデータセット上で検出器を評価する。

提案手法

• GANジェネレーターが深度レイヤーをRGBチャネルに崩壊させる機構を検討し、学習済みの重みをカメラのスペクトル応答と比較する。
• INHベースの分類器を用いたr-vs-gクロマティシティヒストグラムを用いて色形成の手掛かりを検出する。
• 過露光および欠露光ピクセルの頻度を測定する彩度ベースの特徴量を算出し、これらの特徴で線形SVMを訓練する。
• NIST Media Forensics Challenge 2018の2つのデータセット（GAN CropおよびGAN Full）にこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 GANジェネレーターの色形成手掛かりを利用して、GAN生成画像と実カメラ画像を識別することは可能か。
• RQ2 GANにおける正規化とマルチチャネルの深度からRGBへの崩壊は、検出可能な彩度またはカラー統計のアーチファクトを生み出すのか。
• RQ3 異なる改変シナリオでベンチマークGANデータセットに対する彩度ベースおよびカラー基づくフォレンジクスの有効性はどの程度か。

主な発見

• 彩度ベースの特徴は著名な識別性能を示し、完全にGAN生成画像でAUCが0.70、GAN Full画像で0.61。
• カラー基づくフォレンジクスはほぼランダムに近く、2つのデータセットでのAUCはそれぞれ0.56と0.54。
• GANの正規化は彩度を抑制する傾向があり、実カメラ画像と比較して露出のばらつきを減少させる。
• GANのカラーチャンネル形成は実カメラのスペクトル感度と異なる学習済みウェイトを使用しており、カラー統計による検出の可能性を生む。
• カラー・フォレンジクス手法は、訓練データの制約と一部の実画像における焦点操作の可能性のため、効果が限定的であることが示唆される。