[论文解读] Exposing GAN-synthesized Faces Using Landmark Locations

Xin Yang, Yuezun Li+2 more|arXiv (Cornell University)|Mar 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 14

一句话总结

本文提出一种轻量级方法，通过分析面部关键点的几何配置来检测 GAN 生成的面部图像，这些关键点由于 GAN 中缺乏全局结构约束，常表现出不自然的空间排列。使用归一化关键点坐标作为输入，SVM 分类器在 PGGAN 生成的面部图像上达到 94.13% 的 AUROC，优于更深的 CNN 模型，同时计算资源需求极低，且对图像缩放具有鲁棒性。

ABSTRACT

Generative adversary networks (GANs) have recently led to highly realistic image synthesis results. In this work, we describe a new method to expose GAN-synthesized images using the locations of the facial landmark points. Our method is based on the observations that the facial parts configuration generated by GAN models are different from those of the real faces, due to the lack of global constraints. We perform experiments demonstrating this phenomenon, and show that an SVM classifier trained using the locations of facial landmark points is sufficient to achieve good classification performance for GAN-synthesized faces.

研究动机与目标

• 为应对 GAN 生成的逼真人类面部图像日益增长的威胁，此类图像可能带来伦理、法律和安全风险。
• 识别由于 GAN 面部生成中缺乏全局结构约束而导致的面部部件配置中的细微几何不一致。
• 利用面部关键点位置作为判别性特征，开发一种轻量级、可扩展的检测方法。
• 在 GAN 生成的面部图像及其他合成面部操作（如 FaceForensics 中的图像）上评估性能。
• 证明低维、基于几何的特征可在保持检测精度的同时，显著降低计算成本，优于复杂深度学习模型。

提出的方法

• 该方法通过使用预训练的面部对齐模型提取 68 个面部关键点来检测 GAN 生成的面部图像。
• 将关键点坐标归一化至标准坐标系，以应对不同面部图像中尺度、旋转和位移的差异。
• 将归一化后的关键点位置展平为 136 维特征向量（68×2），并使用训练集的均值和标准差进行标准化。
• 使用类平衡损失训练径向基函数（RBF）核 SVM 分类器，样本权重与类别频率成反比。
• 通过 5 折交叉验证调整超参数，并在 PGGAN 生成的面部图像和真实 CelebA 面部图像上评估模型性能。
• 该方法进一步在 FaceForensics 数据集上进行测试，通过平均每段视频的帧级预测结果以提升性能。

实验结果

研究问题

• RQ1 面部关键点配置中的几何不一致性能否作为可靠指标，用于区分 GAN 生成的面部图像与真实图像？
• RQ2 基于关键点位置的轻量级 SVM 分类器是否在检测 GAN 生成面部图像方面优于深度神经网络，尤其是在模型复杂度和鲁棒性方面？
• RQ3 与基于图像的深度学习模型相比，图像缩放对基于关键点的检测性能有何影响？
• RQ4 所提出的方法能否泛化至 GAN 之外的其他类型合成面部操作，例如 FaceForensics 基准中的操作？
• RQ5 面部表情和遮挡在多大程度上影响关键点检测的准确性及后续分类性能？

主要发现

• SVM 分类器仅使用 136 维关键点特征，在 PGGAN 生成的面部图像上达到 94.13% 的 AUROC，优于 VGG19 和 XceptionNet 等多个深度 CNN 模型在同一数据集上的表现。
• 基于关键点的方法对图像缩放具有鲁棒性，分类性能在放大或缩小图像后基本不受影响，而深度学习模型在缩放时可能引入伪影。
• 在 FaceForensics 数据集上，该方法在单帧上的 AUROC 达到 0.83，当对视频帧的预测结果进行平均后，提升至 0.90。
• 该方法所需参数显著更少，可在 CPU 上进行训练和测试，而深度学习模型通常依赖 GPU 加速。
• 真实面部中的误报主要源于强表情或遮挡导致的关键点检测困难，而非分类器本身存在固有偏差。
• 结果证实，GAN 能够生成高度逼真的面部细节，但往往无法保持面部各部件之间一致且自然的空间关系，这种不一致可通过关键点几何检测到。