[论文解读] DeepFakes: a New Threat to Face Recognition? Assessment and Detection

Pavel Korshunov, Sébastien Marcel|arXiv (Cornell University)|Dec 20, 2018

Digital Media Forensic Detection参考文献 24被引用 490

一句话总结

本论文基于 GANs 创建了一个公开的基于 Deepfake VidTIMIT 的数据集，演示了交换人脸对 VGG/Facenet 人脸识别的脆弱性，并评估检测方法，结果显示在基线中 IQM+SVM 最佳，唇部同步方法失败。

ABSTRACT

It is becoming increasingly easy to automatically replace a face of one person in a video with the face of another person by using a pre-trained generative adversarial network (GAN). Recent public scandals, e.g., the faces of celebrities being swapped onto pornographic videos, call for automated ways to detect these Deepfake videos. To help developing such methods, in this paper, we present the first publicly available set of Deepfake videos generated from videos of VidTIMIT database. We used open source software based on GANs to create the Deepfakes, and we emphasize that training and blending parameters can significantly impact the quality of the resulted videos. To demonstrate this impact, we generated videos with low and high visual quality (320 videos each) using differently tuned parameter sets. We showed that the state of the art face recognition systems based on VGG and Facenet neural networks are vulnerable to Deepfake videos, with 85.62% and 95.00% false acceptance rates respectively, which means methods for detecting Deepfake videos are necessary. By considering several baseline approaches, we found that audio-visual approach based on lip-sync inconsistency detection was not able to distinguish Deepfake videos. The best performing method, which is based on visual quality metrics and is often used in presentation attack detection domain, resulted in 8.97% equal error rate on high quality Deepfakes. Our experiments demonstrate that GAN-generated Deepfake videos are challenging for both face recognition systems and existing detection methods, and the further development of face swapping technology will make it even more so.

研究动机与目标

• 提供一个公开可用的基于 GAN 的 Deepfake 视频数据集，用于人脸交换。
• 评估最先进的人脸识别系统对 Deepfake 的脆弱性。
• 评估基线 Deepfake 检测方法并识别优点与局限性。

提出的方法

• 使用基于 GAN 的人脸交换在 VidTIMIT 上生成 Deepfakes，生成低分辨率 (64x64) 和高分辨率 (128x128) 视频。
• 评估 VGG 和 Facenet 人脸识别在原始视频和 Deepfake 视频上的表现。
• 测试嘴唇同步不一致作为音视频检测基线，以及若干基于图像的质量/机器学习基线（PCA/LDA、IQM、SVM）。
• 提供开源数据集和实现以确保可重复性。

实验结果

研究问题

• RQ1 现有的人脸识别系统（VGG 和 Facenet）对 GAN 基 Deepfake 面孔交换有多脆弱？
• RQ2 现有的检测方法是否能可靠地区分 Deepfake 视频与真实素材，哪些特征最有效？
• RQ3 基于嘴唇同步的检测是否优于基于图像的质量信息度量在检测 Deepfakes 上？
• RQ4 视频质量（LQ 与 HQ）对识别脆弱性和检测准确性有何影响？

主要发现

• VGG和Facenet人脸识别对Deepfake视频表现出高度脆弱性，在 licit 数据的 EER 阈值下，VGG 的 FAR 为 85.62%（HQ）和 88.75%（LQ），Facenet 为 95.00%（HQ）和 94.38%（LQ）。
• Lip-sync 基于检测无法区分 Deepfakes 与原始视频，表明音视频不一致方法的局限性。
• IQM 基于特征与 SVM 分类器能以 HQ Deepfakes 提示 8.97% 的 EER 和 9.05% 的 FRR@FAR10%，而 HQ 的性能显著优于 LQ。
• 基于 IQM 的方法结合 PCA/LDA 显示出不同的有效性，例如 IQM+PCA+LDA 在 LQ 下的 EER 为 20.52%，在 FRR@FAR10% 为 66.67%。
• 总体而言，基线检测对 HQ Deepfakes 的效果较差，强调需要更鲁棒的检测方法和数据集。