[論文レビュー] One-Shot GAN Generated Fake Face Detection

Hadi Mansourifar, Weidong Shi|arXiv (Cornell University)|Mar 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 9

ひとこと要約

本稿では、顔画像内の不自然な背景や異常なアイテムといった文脈から外れた物体を特定することで、GANによって生成された偽物の顔を検出するワンショット学習手法を提案する。検出された物体からバッグオブワーズ表現を構築し、スパース特徴ベクトルを用いることで、従来の手法よりも優れた性能を発揮し、Style-GANによって生成されたデータにおいても顕著な性能向上を達成する。

ABSTRACT

Fake face detection is a significant challenge for intelligent systems as generative models become more powerful every single day. As the quality of fake faces increases, the trained models become more and more inefficient to detect the novel fake faces, since the corresponding training data is considered outdated. In this case, robust One-Shot learning methods is more compatible with the requirements of changeable training data. In this paper, we propose a universal One-Shot GAN generated fake face detection method which can be used in significantly different areas of anomaly detection. The proposed method is based on extracting out-of-context objects from faces via scene understanding models. To do so, we use state of the art scene understanding and object detection methods as a pre-processing tool to detect the weird objects in the face. Second, we create a bag of words given all the detected out-of-context objects per all training data. This way, we transform each image into a sparse vector where each feature represents the confidence score related to each detected object in the image. Our experiments show that, we can discriminate fake faces from real ones in terms of out-of-context features. It means that, different sets of objects are detected in fake faces comparing to real ones when we analyze them with scene understanding and object detection models. We prove that, the proposed method can outperform previous methods based on our experiments on Style-GAN generated fake faces.

研究の動機と目的

• 古くなったデータで訓練された従来のモデルが検出できない、新たな未観測のGAN生成偽物顔を検出する課題に対処すること。
• 動的かつ進化し続ける偽物顔生成技術に適応可能な、堅牢なワンショット学習アプローチを開発すること。
• ラベル付きの偽物顔サンプルが少ない低データ環境における検出性能を向上させること。
• シーン理解と物体検出を事前処理ツールとして活用し、顔画像から判別性の高い特徴を抽出すること。

提案手法

• 最先端のシーン理解および物体検出モデルを活用し、顔画像内に存在する異常または文脈から外れた物体を特定する。
• 各顔画像から検出された物体を抽出し、それぞれの特徴が検出された物体の信頼度スコアに対応するバッグオブワーズ表現に変換する。
• 入力画像を、検出された物体の存在と信頼度スコアを符号化するスパースベクトルに変換することで、効率的な比較を可能にする。
• このスパースベクトル表現を用いて、ワンショット学習設定下で本物の顔とGAN生成偽物顔を区別する分類器を訓練する。
• 事前学習済みモデルからの転送可能な特徴を活用することで、多様なGANアーキテクチャにわたる一般化を確保する。
• 本手法の有効性を示すために、Style-GANによって生成された偽物顔を対象に評価し、ゼロショットおよびフェイントショット検出シナリオでの性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 文脈から外れた物体は、GAN生成偽物顔を検出するための信頼できる判別的手がかりとして機能するか？
• RQ2 物体検出とシーン理解に基づくワンショット学習アプローチは、新たな偽物顔を検出するためにどれほど有効か？
• RQ3 提案手法は、再訓練なしに異なるGANアーキテクチャに一般化可能か？
• RQ4 検出された物体のバッグオブワーズ表現は、従来のディープラーニング特徴よりも検出精度を向上させるか？
• RQ5 本物または偽物の例が1つしか利用できないような低データ環境において、本手法はどのように性能を発揮するか？

主な発見

• 提案手法は、特にワンショット状況において、従来のアプローチよりも優れた検出性能をStyle-GANによって生成された偽物顔に対して達成した。
• 文脈から外れた物体の存在は、偽物顔において本物顔よりも顕著に多く観察され、強力な判別的信号を提供している。
• 物体の信頼度スコアに基づくスパースベクトル表現により、未観測の偽物顔タイプに対しても効果的な一般化が可能となった。
• 本手法は低データ環境でも堅牢であることが確認され、ワンショット検出に適していることが示された。
• シーン理解モデルは、標準的な顔分析では捉えきれない異常特徴を効果的に抽出できた。