[論文レビュー] Robust Attentive Deep Neural Network for Exposing GAN-generated Faces

Guo Hui, Shu Hu+3 more|arXiv (Cornell University)|Sep 5, 2021

Face recognition and analysis参考文献 48被引用数 7

ひとこと要約

本論文は、両目の角膜鏡面反射の不一致を分析することで、GANで生成された顔を検出する、ロバストでエンド・トゥ・エンドの注意メカニズムを備えた深層学習フレームワークを提案する。二値交差エントロピーとWMW統計に基づくAUC最適化を組み合わせた共同損失を用いた残差注意ネットワーク（RAN）により、バランス型およびアンバランス型のデータセット、ならびに新たに作成されたFFHQ-GANベンチマークにおいて、最先端の性能を達成した。また、注目マップを用いて解釈可能性を提供する。

ABSTRACT

GAN-based techniques that generate and synthesize realistic faces have caused severe social concerns and security problems. Existing methods for detecting GAN-generated faces can perform well on limited public datasets. However, images from existing public datasets do not represent real-world scenarios well enough in terms of view variations and data distributions (where real faces largely outnumber synthetic faces). The state-of-the-art methods do not generalize well in real-world problems and lack the interpretability of detection results. Performance of existing GAN-face detection models degrades significantly when facing imbalanced data distributions. To address these shortcomings, we propose a robust, attentive, end-to-end network that can spot GAN-generated faces by analyzing their eye inconsistencies. Specifically, our model learns to identify inconsistent eye components by localizing and comparing the iris artifacts between the two eyes automatically. Our deep network addresses the imbalance learning issues by considering the AUC loss and the traditional cross-entropy loss jointly. Comprehensive evaluations of the FFHQ dataset in terms of both balanced and imbalanced scenarios demonstrate the superiority of the proposed method.

研究の動機と目的

• 現実世界のデータアンバランス状況下で、既存のGAN顔検出手法の一般化性と解釈可能性の欠如に対処すること。
• 実顔が合成顔に比べて著しく多いアンバランスデータセットにおいて、検出性能を向上させること。
• 特に角膜鏡面反射の物理的不一致に着目し、GAN生成顔を特定する解釈可能な手法を開発すること。
• アンバランス学習状況下でAUCを効果的に最適化できる微分可能損失関数を設計すること。
• 現実のデータ分布状況を反映した評価が可能な、新規のベンチマークデータセットFFHQ-GANを構築すること。

提案手法

• 顔画像からの虹彩領域の局所化と抽出に、Mask R-CNNを用いる。
• 両目の角膜鏡面反射の不一致を自動的に学習・局所化するため、残差注意ネットワーク（RAN）を採用する。
• ロジスティック回帰のAUC最適化を、ウィルコクソン・マン・ホイットニー（WMW）統計に基づく緩和型損失に置き換えた、標準的な二値交差エントロピー損失と組み合わせた共同損失関数を設計する。これにより、アンバランスデータにおける最適化が向上する。
• 組み合わせ損失を用いて、特徴学習と検出を同時に最適化するエンド・トゥ・エンドの学習を実施する。
• RANからの注目マップを活用し、不一致な鏡面反射などの注目領域を強調することで、解釈可能性を提供する。
• バランス型およびアンバランス型のデータスプリットを備えた、新たに構築されたFFHQ-GANデータセットを用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 眼レベルの不一致、特に角膜鏡面反射の不一致は、GAN生成顔の検出に信頼性があり、解釈可能な手がかりとして機能するか？
• RQ2 実顔が著しく多い状況下で、GAN顔検出におけるデータアンバランスに強い深層学習モデルをどのように構築できるか？
• RQ3 WMW統計に基づくAUC最適化を組み合わせた、交差エントロピーと共同する損失関数は、単一の交差エントロピー損失に比べ、アンバランスデータセットにおける検出性能を向上させるか？
• RQ4 エンド・トゥ・エンドで動作する、注目メカニズムを備えたモデルは、従来のCNNよりも、GAN生成顔における微細なアーチファクトを検出する能力に優れるか？
• RQ5 提案手法は、視点の変化や非正面の顔ポーズを含む現実世界の状況にも、どの程度一般化できるか？

主な発見

• BCE + AUC（WMW経由）損失を用いた提案されたRANモデルは、FFHQ-GANデータセットのバランス型およびアンバランス型の両方において、すべての指標（正解率、AUC、F1スコア、再現率）で最高の性能を達成した。
• アンバランスなFFHQ-GANデータセットにおいて、モデルは再現率0.92を達成し、ResNet-50やXceptionが0.70未満にとどまるのに対し、顕著に優れた性能を示した。
• アブレーションスタディの結果、BCE + AUC損失の共同設計はBCE単体の学習より性能を向上させることを確認した。特にアンバランスデータセットではAUCスコアが5.2%向上した。
• 損失関数における最適なハイパーパrameter α は 0.4 であることが判明し、全テスト値の中で最高のAUC性能を発揮した。
• 注目マップの可視化により、モデルが偽物の顔では角膜鏡面反射に注目している一方、本物の顔では虹彩全体にわたって注目を分散させていることが確認され、関連するアーチファクトを正しく学習していることが裏付けられた。
• 非正面および側面画像においても、GAN生成顔が正常に検出された。これは、ポーズの変化に対してもロバストであることを示している。