[論文レビュー] Eyes Tell All: Irregular Pupil Shapes Reveal GAN-generated Faces

Hui Guo, Shu Hu+3 more|arXiv (Cornell University)|Sep 1, 2021

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文は、GAN学習における生理的制約の欠如によって生じる不規則な縦隔の形状に着目し、自動縦隔セグメンテーションと楕円フィッティングを用いて境界IOU（BIoU）スコアを計算することで、GAN生成顔を検出する新規で解釈可能な手法を提案する。本手法は、本物対GAN生成顔の検出において91%のAUCを達成し、高い有効性と解釈可能性を示している。

ABSTRACT

Generative adversary network (GAN) generated high-realistic human faces have been used as profile images for fake social media accounts and are visually challenging to discern from real ones. In this work, we show that GAN-generated faces can be exposed via irregular pupil shapes. This phenomenon is caused by the lack of physiological constraints in the GAN models. We demonstrate that such artifacts exist widely in high-quality GAN-generated faces and further describe an automatic method to extract the pupils from two eyes and analysis their shapes for exposing the GAN-generated faces. Qualitative and quantitative evaluations of our method suggest its simplicity and effectiveness in distinguishing GAN-generated faces.

研究の動機と目的

• 悪意あるソーシャルメディアプロフィールに使用されるGAN生成偽物顔の増加問題に対処すること。
• 解釈不能で、GANアーキテクチャを越えて一般化できない既存のディープラーニングベースの検出手法の限界を克服すること。
• 特に不規則な縦隔形状という、GAN生成顔に内在する生理的不整合をフォレンジックスの手がかりとして活用すること。
• 人間の縦隔の自然な幾何的規則性を活用することで、有効かつ解釈可能な手法を開発すること。

提案手法

• ディープラーニングベースのセグメンテーションモデルを用いて、顔画像内の縦隔領域を自動的にセグメンテーションする。
• 各セグメンテーション済み縦隔境界にパラメトリック楕円モデルをフィッティングし、理想的な生理的形状を近似する。
• セグメンテーション済み縦隔マスクとフィッティングされた楕円との間の境界交差率（BIoU）スコアを計算し、形状の規則性の指標とする。
• 両目の平均BIoUスコアをフォレンジックス特徴量として用い、顔を本物またはGAN生成顔に分類する。
• BIoU計算における境界ずれの感受性を制御するため、距離パrameter $d$ を適用する。
• 本物顔はFFHQデータセット、GAN生成顔はStyleGAN2から得たデータを用いて、手法の訓練および評価を行う。

実験結果

リサーチクエスチョン

• RQ1 GAN生成顔における不規則な縦隔形状は、検出のための信頼できるフォレンジックスの手がかりとして機能するか？
• RQ2 本物の人間顔とGAN生成顔の間で、縦隔の形状規則性にどのような差が生じるか？
• RQ3 縦隔幾何学に基づく単純で解釈可能な手法は、ブラックボックス型ディープラーニング検出器に比べ、一般化性能と説明可能性の面で優れているか？
• RQ4 BIoUスコアは、顔画像の真正性とどの程度相関しているか？

主な発見

• 本物顔のBIoUスコア分布は、GAN生成顔とは著しく高く、明確に分離されており、強力な識別力があることを示している。
• FFHQとStyleGAN2の統合データセット上で、受信器特性曲線下の面積（AUC）が0.91に達し、高い検出精度を示している。
• BIoU計算における境界ずれへの感受性が最適化されるのは、距離パrameter $d=4$ の場合であり、性能と耐障害性のバランスが取れている。
• 病理的縦隔形状（例：感染症）や撮影アーチファクト（例：遮蔽、照明）の影響で誤検出が生じる可能性があるが、実世界の文脈ではまれである。
• 本手法は計算的に効率的で、解釈可能である。BIoUスコアは縦隔の幾何的規則性を直接反映しているためである。
• 視覚的検査のみでも、不規則な縦隔形状を観察することで、しばしばGAN生成顔を識別できるため、本手法の直感的な根拠が裏付けられている。