[論文レビュー] Exposing GAN-generated Faces Using Inconsistent Corneal Specular Highlights

Shu Hu, Yuezun Li+1 more|arXiv (Cornell University)|Sep 24, 2020

Generative Adversarial Networks and Image Synthesis被引用数 14

ひとこと要約

本稿では、GANが光の反射幾何学における物理的整合性を保てないことに着目し、両目の間で不一致な角膜の鏡面反射光を分析することで、GANで生成された顔を検出する新規手法を提案する。この手法は、自動検出とIoUベースの類似度スコアリングを用い、実際の顔とGANで生成された顔を区別する際、AUC 0.94を達成した。

ABSTRACT

Sophisticated generative adversary network (GAN) models are now able to synthesize highly realistic human faces that are difficult to discern from real ones visually. In this work, we show that GAN synthesized faces can be exposed with the inconsistent corneal specular highlights between two eyes. The inconsistency is caused by the lack of physical/physiological constraints in the GAN models. We show that such artifacts exist widely in high-quality GAN synthesized faces and further describe an automatic method to extract and compare corneal specular highlights from two eyes. Qualitative and quantitative evaluations of our method suggest its simplicity and effectiveness in distinguishing GAN synthesized faces.

研究の動機と目的

• オンラインでのフェイク人間顔のAI生成による脅威の増大に対処すること。
• 現実世界の光学的制約に反する、GANで生成された顔に見られる物理的不整合を特定すること。
• 生理的および物理的妥当性に基づく、強固で解釈可能な検出手法を開発すること。
• 不一致な角膜の鏡面反射光が、GANで生成された顔を検出するための信頼できるシグナルであることを示すこと。

提案手法

• 高解像度顔画像における目の領域を局所化するため、DLibを用いて顔の特徴点を検出する。
• Cannyエッジ検出とHough変換を適用し、角膜の縁（corneal limbus）を円形境界として同定する。
• 目の領域と検出された角膜縁の積集合として角膜領域を抽出する。
• 適応しきい値処理を用いて、角膜表面からの高輝度の鏡面反射光領域を分離する。
• 比較を可能にするために、左目および右目の鏡面反射光領域を平行移動で整合化する。
• 整合化された両領域間のインターセクションオーバーユニオン（IoU）スコアを類似度指標として計算する。

実験結果

リサーチクエスチョン

• RQ1 両目の間で不一致な角膜の鏡面反射光は、実際の顔とGANで生成された顔を信頼性高く区別できるか？
• RQ2 GANモデルは、両目の間で光の反射パターンの物理的整合性をどの程度失敗するか？
• RQ3 角膜の鏡面反射光のIoUスコアは、GAN顔検出の定量的特徴としてどの程度有効か？
• RQ4 本手法は、特に高品質なモデル（例：StyleGAN2）を含む、さまざまなGAN合成モデルに一般化可能か？

主な発見

• 角膜の鏡面反射光のIoUスコアの分布は、実際の顔とGANで生成された顔の間で明確に分離されている。
• 受信者操作特性曲線（ROC）におけるAUCが0.94に達し、優れた識別性能を示している。
• ポートレート設定下の実際の顔では、鏡面反射光の形状と位置に高い類似度が見られるが、GANで生成された顔では、数、形状、位置に不一致なパターンが見られる。
• この不一致は、GANが顔の幾何学的および光の反射のモデリングにおいて物理的・生理的制約を欠いていることに起因する。
• GANモデル（例：StyleGAN2）が他のアーチファクト（非対称な顔、一貫性のない瞳の色など）を除去した後でも、本手法は有効である。