[论文解读] Real or Fake? Spoofing State-Of-The-Art Face Synthesis Detection Systems.

João C. Neves, Rubén Tolosana+3 more|arXiv (Cornell University)|Nov 13, 2019

Face recognition and analysis被引用 6

一句话总结

本文提出了一种新颖的方法，可从合成的人脸图像中去除 GAN 指纹，从而在保持视觉质量的同时，欺骗最先进的面部操作检测系统。该方法表明，当前的检测系统对未见过的欺骗技术仍显脆弱，凸显了在非受限环境中开发更鲁棒检测方法的必要性。

ABSTRACT

The availability of large-scale facial databases, together with the remarkable progresses of deep learning technologies, in particular Generative Adversarial Networks (GANs), have led to the generation of extremely realistic fake facial content, which raises obvious concerns about the potential for misuse. These concerns have fostered the research of manipulation detection methods that, contrary to humans, have already achieved astonishing results in some scenarios. In this study, we focus on the entire face synthesis, which is one specific type of facial manipulation. The main contributions of this study are: i) a novel strategy to remove GAN fingerprints from synthetic fake images in order to spoof facial manipulation detection systems, while keeping the visual quality of the resulting images, ii) an in-depth analysis of state-of-the-art detection approaches for the entire face synthesis manipulation, iii) a complete experimental assessment of this type of facial manipulation considering state-of-the-art detection systems, remarking how challenging is this task in unconstrained scenarios, and finally iv) a novel public database named FSRemovalDB produced after applying our proposed GAN-fingerprint removal approach to original synthetic fake images. The observed results led us to conclude that more efforts are required to develop robust facial manipulation detection systems against unseen conditions and spoof techniques such as the one proposed in this study.

研究动机与目标

• 开发一种从合成人脸图像中去除 GAN 指纹的技术，以在保持高视觉质量的同时逃避检测。
• 分析最先进的面部操作检测系统对完整人脸合成攻击的鲁棒性。
• 在非受限、类真实世界条件下，评估检测系统的性能。
• 通过将所提出的指纹去除方法应用于原始合成图像，构建一个新的公开数据集 FSRemovalDB。

提出的方法

• 设计了一种新颖的图像转换流程，系统性地从合成人脸图像中去除 GAN 特有的伪影（指纹）。
• 该方法在频域中运行，以在消除 GAN 引入的检测相关模式的同时，保持感知质量。
• 该方法被应用于公开数据集中现有的合成人脸图像，生成包含欺骗内容的新数据集。
• 使用最先进的检测模型对生成的图像进行评估，以衡量欺骗的成功程度。
• 在多种检测系统上验证该方法，以衡量其泛化能力和鲁棒性。
• 构建了一个新的公开数据集 FSRemovalDB，以支持未来在欺骗与检测方面的研究。

实验结果

研究问题

• RQ1 能否在不降低视觉质量的前提下，有效从合成人脸图像中去除 GAN 指纹？
• RQ2 所提出的欺骗方法在多大程度上能够逃避最先进的面部操作检测系统？
• RQ3 当面对去除了 GAN 指纹的图像时，检测系统在非受限、类真实世界场景下的表现如何？
• RQ4 当检测系统遭遇未见过的欺骗技术时，其局限性体现在哪些方面？
• RQ5 该方法在多种检测模型上生成逼真且不可检测的虚假图像的效率如何？

主要发现

• 所提出的方法成功去除了合成人脸图像中的 GAN 指纹，同时保持了高视觉保真度。
• 最先进的检测系统持续被欺骗图像所误导，显示出显著的脆弱性。
• 在非受限场景中，检测性能显著下降，表明其对真实世界条件的泛化能力较差。
• 新发布的 FSRemovalDB 数据集表明，当前检测模型无法泛化到未见过的欺骗技术。
• 结果强调了迫切需要开发能够应对新型和自适应欺骗方法的更鲁棒的检测系统。