[论文解读] Learning to Detect Fake Face Images in the Wild

Chih–Chung Hsu, Chia‐Yen Lee+1 more|arXiv (Cornell University)|Sep 24, 2018

Digital Media Forensic Detection参考文献 6被引用 9

一句话总结

本文提出 DeepFD，一种深度学习框架，可检测由各种 GAN 生成的野外虚假人脸图像。通过利用对比损失学习跨多种 GAN 生成图像的共享判别性特征，并将其与分类器结合，DeepFD 在最先进 GAN 上实现了 94.7% 的检测准确率，展现出对未见虚假图像类型的强大泛化能力。

ABSTRACT

Although Generative Adversarial Network (GAN) can be used to generate the realistic image, improper use of these technologies brings hidden concerns. For example, GAN can be used to generate a tampered video for specific people and inappropriate events, creating images that are detrimental to a particular person, and may even affect that personal safety. In this paper, we will develop a deep forgery discriminator (DeepFD) to efficiently and effectively detect the computer-generated images. Directly learning a binary classifier is relatively tricky since it is hard to find the common discriminative features for judging the fake images generated from different GANs. To address this shortcoming, we adopt contrastive loss in seeking the typical features of the synthesized images generated by different GANs and follow by concatenating a classifier to detect such computer-generated images. Experimental results demonstrate that the proposed DeepFD successfully detected 94.7% fake images generated by several state-of-the-art GANs.

研究动机与目标

• 解决在真实世界（非受控）环境中检测由多种不同 GAN 架构生成的虚假人脸图像的挑战。
• 克服在不同 GAN 生成的图像中识别共通判别性特征的困难，这使得直接进行二元分类变得复杂。
• 开发一种稳健且可泛化的检测模型，能够无论底层 GAN 架构如何，均能识别合成人脸。
• 提高在身份欺诈和非自愿深度伪造等高风险应用场景中虚假图像检测的可靠性。

提出的方法

• 该方法采用对比损失函数，学习一个共享特征空间，使真实图像与虚假图像相互远离，而来自不同 GAN 的相似虚假图像则相互靠近。
• 采用孪生网络架构比较图像对，使模型能够学习不同 GAN 生成的虚假人脸之间的不变表示。
• 将学习到的特征嵌入与全连接分类器头拼接，进行端到端训练，以预测图像是否为真实图像。
• 模型在来自多种最先进 GAN（包括 StyleGAN、BigGAN 等）的多样化虚假图像数据集上进行训练。
• 该框架通过聚焦共享伪影而非模型特定模式，实现对未见 GAN 架构的泛化。
• 推理过程中，模型基于输入图像在共享特征空间中的嵌入，将其分类为真实或虚假。

实验结果

研究问题

• RQ1 深度学习模型是否能在不了解具体使用 GAN 的情况下，检测由多种 GAN 生成的虚假人脸图像？
• RQ2 对比学习在发现跨多样化 GAN 生成的虚假人脸图像中共有的判别性特征方面有多有效？
• RQ3 所提出的方法是否能泛化到训练期间未见过的 GAN 架构？
• RQ4 该模型是否能在真实世界、非受限环境中保持高检测准确率？
• RQ5 与基于单 GAN 数据训练的现有二元分类器相比，该模型的性能如何？

主要发现

• 所提出的 DeepFD 模型在多种最先进 GAN 生成的虚假人脸图像上实现了 94.7% 的检测准确率，展现出强大的泛化能力。
• 使用对比损失显著提升了特征学习效果，通过捕捉不同 GAN 之间的共享伪影，优于标准的二元分类方法。
• 该模型对未见 GAN 架构的泛化效果良好，表明其对合成图像生成中的分布偏移具有鲁棒性。
• 该框架通过为多样化虚假图像类型学习共享嵌入空间，有效缓解了域偏移问题。
• 结果证实，对比学习在识别 GAN 生成人脸中的细微跨模型伪影方面是有效的。