[论文解读] Exposing GAN-generated Faces Using Inconsistent Corneal Specular Highlights

Shu Hu, Yuezun Li+1 more|arXiv (Cornell University)|Sep 24, 2020

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

本文提出了一种新颖的方法，通过分析双眼之间不一致的角膜镜面高光来检测 GAN 生成的人脸，利用 GAN 在光反射几何中无法保持物理一致性的事实。该方法采用自动检测和基于 IoU 的相似性评分来分析镜面高光区域，在区分真实人脸与 GAN 生成的人脸方面取得了 0.94 的 AUC。

ABSTRACT

Sophisticated generative adversary network (GAN) models are now able to synthesize highly realistic human faces that are difficult to discern from real ones visually. In this work, we show that GAN synthesized faces can be exposed with the inconsistent corneal specular highlights between two eyes. The inconsistency is caused by the lack of physical/physiological constraints in the GAN models. We show that such artifacts exist widely in high-quality GAN synthesized faces and further describe an automatic method to extract and compare corneal specular highlights from two eyes. Qualitative and quantitative evaluations of our method suggest its simplicity and effectiveness in distinguishing GAN synthesized faces.

研究动机与目标

• 为应对在线虚假信息中日益增长的 AI 生成虚假人脸威胁。
• 识别违反现实世界光学约束的 GAN 生成人脸中的物理不一致性。
• 开发一种基于生理和物理合理性的稳健且可解释的检测方法。
• 证明不一致的角膜镜面高光可作为检测 GAN 生成人脸的可靠信号。

提出的方法

• 使用 DLib 检测面部关键点，以在高分辨率人脸图像中定位眼部区域。
• 应用 Canny 边缘检测和霍夫变换，将角膜缘识别为圆形边界。
• 将角膜区域提取为眼部区域与检测到的角膜缘之间的交集。
• 使用自适应阈值法从角膜表面分离出高强度的镜面高光区域。
• 通过平移对齐左右眼的镜面高光区域，以实现比较。
• 计算对齐后两个区域之间的交并比（IoU）得分，作为相似性度量。

实验结果

研究问题

• RQ1 双眼之间不一致的角膜镜面高光是否能可靠地区分 GAN 生成的人脸与真实人脸？
• RQ2 GAN 模型在双眼之间的光反射模式中，物理一致性缺失的程度如何？
• RQ3 角膜镜面高光的 IoU 得分作为 GAN 人脸检测的定量特征，其有效性如何？
• RQ4 该方法是否在不同 GAN 生成模型上具有泛化能力，特别是像 StyleGAN2 这类高质量模型？

主要发现

• 角膜镜面高光的 IoU 得分分布显示了真实人脸与 GAN 生成人脸之间明显的分离。
• 该方法在受试者工作特征曲线（ROC）上实现了 0.94 的 AUC，表明其具有出色的判别性能。
• 在肖像设置下，真实人脸的镜面高光形状和位置高度相似，而 GAN 生成的人脸则在数量、形状和位置上表现出不一致的模式。
• 这种不一致性源于 GAN 在建模面部几何和光反射时缺乏物理和生理约束。
• 即使在 GAN 模型（如 StyleGAN2）已消除其他伪影（如不对称面部或不一致的眼色）后，该方法依然有效。