[论文解读] Eyes Tell All: Irregular Pupil Shapes Reveal GAN-generated Faces

Hui Guo, Shu Hu+3 more|arXiv (Cornell University)|Sep 1, 2021

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

该论文提出了一种新颖且可解释的方法，通过利用 GAN 训练中缺乏生理约束所导致的不规则瞳孔形状，来检测 GAN 生成的人脸。该方法采用自动瞳孔分割与椭圆拟合技术，计算边界交并比（BIoU）得分。该方法在真实人脸与 GAN 生成人脸的检测任务中取得了 91% 的 AUC，表现出高度的有效性与可解释性。

ABSTRACT

Generative adversary network (GAN) generated high-realistic human faces have been used as profile images for fake social media accounts and are visually challenging to discern from real ones. In this work, we show that GAN-generated faces can be exposed via irregular pupil shapes. This phenomenon is caused by the lack of physiological constraints in the GAN models. We demonstrate that such artifacts exist widely in high-quality GAN-generated faces and further describe an automatic method to extract the pupils from two eyes and analysis their shapes for exposing the GAN-generated faces. Qualitative and quantitative evaluations of our method suggest its simplicity and effectiveness in distinguishing GAN-generated faces.

研究动机与目标

• 解决 GAN 生成的虚假人脸被滥用于恶意社交媒体账号的日益严重问题。
• 克服现有基于深度学习的检测方法在可解释性与跨 GAN 架构泛化能力方面的局限性。
• 利用 GAN 生成人脸中固有的生理不一致性，特别是不规则瞳孔形状，作为取证线索。
• 通过利用人类瞳孔的自然几何规律，开发一种既有效又可解释的方法。

提出的方法

• 使用基于深度学习的分割模型，自动分割人脸图像中的瞳孔区域。
• 对每个分割出的瞳孔边界拟合一个椭圆参数模型，以近似理想的生理形状。
• 计算分割出的瞳孔掩码与拟合椭圆之间的边界交并比（BIoU）得分，作为形状规则性的度量。
• 将双眼的平均 BIoU 得分用作取证特征，以分类图像为真实人脸或 GAN 生成人脸。
• 在 BIoU 计算中引入距离参数 $d$，以控制对边界偏差的敏感度。
• 在 FFHQ 数据集的真实人脸和 StyleGAN2 生成的人脸上进行模型训练与评估。

实验结果

研究问题

• RQ1 GAN 生成人脸中的不规则瞳孔形状能否作为可靠的取证线索用于检测？
• RQ2 真实人类人脸与 GAN 生成人脸在瞳孔形状规则性上存在何种差异？
• RQ3 基于瞳孔几何的简单、可解释方法是否能在泛化能力和可解释性方面超越黑箱深度学习检测器？
• RQ4 BIoU 得分在多大程度上与人脸图像的真实性相关？

主要发现

• 真实人脸的 BIoU 得分分布显著更高，且与 GAN 生成人脸的得分明显分离，表明其具有强大的判别能力。
• 该方法在 FFHQ 与 StyleGAN2 数据集的组合数据上实现了 0.91 的受试者工作特征曲线下面积（AUC），证明了其高检测准确率。
• 在 BIoU 计算中，距离参数 $d=4$ 时达到对边界不规则性的最佳敏感度，兼顾了检测性能与鲁棒性。
• 误报可能由病理性瞳孔形状（如感染）或成像伪影（如遮挡、光照）引起，但在现实场景中较为罕见。
• 该方法计算效率高且可解释，因为 BIoU 得分可直接反映瞳孔的几何规则性。
• 仅通过视觉检查，通常可凭不规则瞳孔形状区分 GAN 生成的人脸，证实了该方法的直观基础。