[论文解读] Face X-ray for More General Face Forgery Detection

Lingzhi Li, Jianmin Bao+5 more|arXiv (Cornell University)|Dec 31, 2019

Digital Media Forensic Detection参考文献 49被引用 21

一句话总结

本文提出了一种名为 face X-ray 的新型图像表征方法，通过揭示伪造图像中的混合边界来检测人脸伪造。该方法通过识别混合边缘处的固有差异，实现对未见过的伪造方法的高泛化能力，且无需在伪造数据上进行训练，在未见过的深度伪造数据上达到了 98.5% 的 AUC，优于当前最先进检测器。

ABSTRACT

In this paper we propose a novel image representation called face X-ray for detecting forgery in face images. The face X-ray of an input face image is a greyscale image that reveals whether the input image can be decomposed into the blending of two images from different sources. It does so by showing the blending boundary for a forged image and the absence of blending for a real image. We observe that most existing face manipulation methods share a common step: blending the altered face into an existing background image. For this reason, face X-ray provides an effective way for detecting forgery generated by most existing face manipulation algorithms. Face X-ray is general in the sense that it only assumes the existence of a blending step and does not rely on any knowledge of the artifacts associated with a specific face manipulation technique. Indeed, the algorithm for computing face X-ray can be trained without fake images generated by any of the state-of-the-art face manipulation methods. Extensive experiments show that face X-ray remains effective when applied to forgery generated by unseen face manipulation techniques, while most existing face forgery detection or deepfake detection algorithms experience a significant performance drop.

研究动机与目标

• 解决现有面部伪造检测器对特定伪造技术过拟合且在未见方法上失效的关键局限性。
• 开发一种基于人脸伪造通用特性的通用伪造检测方法：即混合步骤。
• 实现在无需访问最先进伪造图像的情况下进行训练，从而提升鲁棒性和泛化能力。
• 通过识别混合边界处的图像固有差异来检测伪造，而非依赖于特定算法独有的伪影。
• 证明 face X-ray 在应用于未见过的混合技术（如泊松混合和深度混合）时依然有效。

提出的方法

• Face X-ray 是一种从输入人脸图像中提取的灰度图像表征，用于突出潜在的混合边界。
• 通过识别混合边缘处的固有图像差异（如噪声或错误等级变化）来检测伪造。
• 该方法假设所有伪造图像均共享一个共同的混合步骤，因此与特定伪造伪影无关。
• Face X-ray 预测网络仅在使用混合技术（如 alpha 混合）合成的真实图像上进行训练，而非在最先进方法生成的伪造图像上。
• 多任务损失函数结合了分类损失（真实 vs. 伪造）和 face X-ray 预测损失，平衡权重 λ 设为 100。
• 该框架在多种测试集上进行评估，包括未见过的伪造技术和混合类型，以验证其泛化能力。

实验结果

研究问题

• RQ1 一种伪造检测方法是否能在未被其输出训练的情况下，有效泛化到未见过的人脸伪造技术？
• RQ2 通过检测混合边界处的固有图像差异，是否能提供比检测特定方法专属伪影更鲁棒、更具泛化能力的信号？
• RQ3 是否可以在不使用任何合成伪造图像的情况下训练 face X-ray 表征，同时仍实现高检测准确率？
• RQ4 face X-ray 在训练期间未使用过的混合技术（如泊松混合或深度混合）上效果如何？
• RQ5 与仅使用分类损失相比，face X-ray 预测损失在多大程度上提升了检测性能？

主要发现

• 在 FF++ 数据集上，face X-ray 达到 98.52% AUC，在 DFD 上达到 93.47%，显著优于基线方法。
• 消融实验表明，数据生成中的掩码形变和颜色校正均至关重要，任一移除均导致性能下降。
• 损失权重 λ 具有显著影响：AUC 从 λ=0 时的 94.5% 上升至 λ=1000 时的 98.6%，证实了 face X-ray 预测损失的有益作用。
• 该方法对未见过的混合类型泛化良好，在 alpha 混合上达到 99.46% AUC，在泊松混合上达到 94.62%，在深度混合（GP-GAN）上达到 99.90%。
• 在低分辨率图像上性能下降，LQ FF++ 图像的 AUC 降至 61.6%，表明对图像质量敏感。
• 即使在未见过的人脸伪造技术上测试，该框架仍保持高准确率，证明其在训练数据之外具有强大的泛化能力。