[論文レビュー] Learning to Detect Fake Face Images in the Wild

Chih–Chung Hsu, Chia‐Yen Lee+1 more|arXiv (Cornell University)|Sep 24, 2018

Digital Media Forensic Detection参考文献 6被引用数 9

ひとこと要約

本稿では、さまざまなGANによって生成されたリアルな状況下の偽の顔画像を検出するための深層学習フレームワーク、DeepFDを提案する。対照的損失を用いて多様なGAN生成画像間で共通する識別的特徴を学習し、それを分類器と組み合わせることで、最先端のGANに対して94.7％の検出精度を達成し、未観測の偽画像タイプに対しても強力な一般化性能を示した。

ABSTRACT

Although Generative Adversarial Network (GAN) can be used to generate the realistic image, improper use of these technologies brings hidden concerns. For example, GAN can be used to generate a tampered video for specific people and inappropriate events, creating images that are detrimental to a particular person, and may even affect that personal safety. In this paper, we will develop a deep forgery discriminator (DeepFD) to efficiently and effectively detect the computer-generated images. Directly learning a binary classifier is relatively tricky since it is hard to find the common discriminative features for judging the fake images generated from different GANs. To address this shortcoming, we adopt contrastive loss in seeking the typical features of the synthesized images generated by different GANs and follow by concatenating a classifier to detect such computer-generated images. Experimental results demonstrate that the proposed DeepFD successfully detected 94.7% fake images generated by several state-of-the-art GANs.

研究の動機と目的

• 複数の多様なGANアーキテクチャが生成する偽の顔画像を、実世界（制御されていない）環境で検出する課題に対処すること。
• 異なるGANからの画像間に共通する識別的特徴を特定することが難しいため、直接的な二値分類が困難であるという課題を克服すること。
• 下流のGANアーキテクチャに依存しない、合成顔をいかなる状況でも検出可能な、強力で一般化可能な検出モデルを開発すること。
• 身元詐欺や同意のないDeepfakeなどの高リスクな応用分野における偽画像検出の信頼性を向上させること。

提案手法

• 本手法は、対照的損失関数を用いて、本物の画像と偽物の画像が引き離され、異なるGANから生成された類似する偽物画像同士が近づく共通の特徴空間を学習する。
• ペアの画像を比較できるシアン型ネットワークアーキテクチャを用い、異なるGANによって生成された偽物顔画像間で不変な表現を学習する。
• 学習された特徴埋め込みを、全結合分類器ヘッドと連結して、エンドツーエンドの学習を実現し、画像が本物か偽物かを予測する。
• 本モデルは、StyleGAN、BigGAN、その他の最先端のGANから得た多様な偽物画像データセットを用いて学習される。
• 本フレームワークは、モデル固有のパターンではなく、共通するアーティファクトに注目することで、未観測のGANアーキテクチャへの一般化を図る。
• 推論時、本モデルは、入力画像の共有特徴空間における埋め込みに基づいて、その画像が本物か偽物かを分類する。

実験結果

リサーチクエスチョン

• RQ1 特定のGANが使用されたことを事前に知らなくても、さまざまなGANによって生成された偽の顔画像を深層学習モデルが検出可能か？
• RQ2 対照的学習は、多様なGAN生成偽顔画像間で共通する識別的特徴を発見するためにどの程度有効か？
• RQ3 提案手法は、学習時に観測されていなかった未確認のGANアーキテクチャにも一般化可能か？
• RQ4 本モデルは、実世界の制御されていない環境でも高い検出精度を維持できるか？
• RQ5 既存の単一GANデータで学習された二値分類器と比較して、本モデルの性能はどの程度か？

主な発見

• 提案されたDeepFDモデルは、複数の最先端GANによって生成された偽顔画像に対して94.7％の検出精度を達成し、強力な一般化性能を示した。
• 対照的損失の使用により、異なるGAN間で共通するアーティファクトを捉えることで、特徴学習が著しく向上し、標準的な二値分類アプローチを上回った。
• 未観測のGANアーキテクチャへの一般化がうまくいったことから、合成画像生成における分布シフトに対しても強靭であることが示された。
• 多様な偽物画像タイプのための共有埋め込み空間を学習することで、ドメインシフト問題が効果的に軽減された。
• 結果から、対照的学習がGAN生成顔画像における微細な、モデル間共通のアーティファクトを特定するのに有効であることが確認された。