[论文解读] Deepfake detection: humans vs. machines

Pavel Korshunov, Sébastien Marcel|arXiv (Cornell University)|Sep 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 11

一句话总结

本研究评估了人类与机器在使用来自 Facebook Deepfake 数据集的 120 个手动挑选视频时检测深度伪造视频的表现。尽管人类在面对逼真的深度伪造视频时表现不佳——在 75.5% 的情况下未能识别出伪造内容——但最先进的深度学习模型（Xception 和 EfficientNet）展现出根本不同的检测模式，常常在人类一眼就能识别出的伪造视频上失败，揭示了人类与机器在深度伪造感知之间存在关键脱节。

ABSTRACT

Deepfake videos, where a person's face is automatically swapped with a face of someone else, are becoming easier to generate with more realistic results. In response to the threat such manipulations can pose to our trust in video evidence, several large datasets of deepfake videos and many methods to detect them were proposed recently. However, it is still unclear how realistic deepfake videos are for an average person and whether the algorithms are significantly better than humans at detecting them. In this paper, we present a subjective study conducted in a crowdsourcing-like scenario, which systematically evaluates how hard it is for humans to see if the video is deepfake or not. For the evaluation, we used 120 different videos (60 deepfakes and 60 originals) manually pre-selected from the Facebook deepfake database, which was provided in the Kaggle's Deepfake Detection Challenge 2020. For each video, a simple question: "Is face of the person in the video real of fake?" was answered on average by 19 naïve subjects. The results of the subjective evaluation were compared with the performance of two different state of the art deepfake detection methods, based on Xception and EfficientNets (B4 variant) neural networks, which were pre-trained on two other large public databases: the Google's subset from FaceForensics++ and the recent Celeb-DF dataset. The evaluation demonstrates that while the human perception is very different from the perception of a machine, both successfully but in different ways are fooled by deepfakes. Specifically, algorithms struggle to detect those deepfake videos, which human subjects found to be very easy to spot.

研究动机与目标

• 评估平均人类观察者在不同视觉伪影严重程度下，对深度伪造视频逼真程度的感知。
• 使用相同的视频集，比较人类检测表现与最先进的深度伪造检测算法的表现。
• 调查机器对深度伪造的感知是否与人类感知相关，尤其是在视觉伪影可检测性方面。
• 评估在不同数据集上训练的深度伪造检测模型在未见的 Facebook 生成深度伪造视频上的泛化能力。
• 挑战机器视觉与人类视觉感知在深度伪造检测中一致的假设。

提出的方法

• 通过众包方式对 120 个视频（60 个真实视频，60 个深度伪造视频）进行了主观评估，这些视频从 Facebook Deepfake 数据集中选取，并按五个难度等级分类：极易、容易、中等、困难和极难检测。
• 每个视频由平均约 19 名未经训练的参与者评估，判断视频中的人脸是真实还是伪造，从而建立人类感知基线。
• 在相同视频集上评估了两种最先进的深度伪造检测模型——Xception 和 EfficientNet-B4，分别在 Google 的 FaceForensics++ 子集和 Celeb-DF 数据集上预训练。
• 通过在各自训练数据库的开发集上设定 10% 的误接受率（FAR）阈值，模拟实际部署条件来衡量性能。
• 计算受试者工作特征（ROC）曲线和 AUC 值，以比较模型和人类受试者在完整测试集上的整体检测表现。
• 研究比较了不同深度伪造类别中的检测准确率，以分析人类与机器感知之间的差异，特别关注人类能轻易识别但模型失败的情况。

实验结果

研究问题

• RQ1 平均人类观察者在不同视觉伪影严重程度的范围内，能多准确地检测深度伪造视频？
• RQ2 最先进的深度学习模型在未见的 Facebook 数据集深度伪造视频上，其泛化能力如何？
• RQ3 人类对深度伪造逼真度的感知与机器学习模型的检测表现之间是否存在相关性？
• RQ4 为什么深度伪造检测模型会在人类一眼就能识别出的伪造视频上失败？
• RQ5 训练数据分布和阈值选择如何影响深度伪造检测系统在现实世界中的表现？

主要发现

• 当深度伪造视频视觉上逼真时，人类受试者仅在 24.5% 的情况下正确识别出伪造内容，表明 75.5% 的高质量深度伪造成功欺骗了平均观察者。
• 人类检测准确率随难度等级系统性变化：受试者正确识别了 95% 的“极易”类深度伪造，但仅识别出 25% 的“极难”类，显示出在各类别中的一致感知。
• Xception 和 EfficientNet 模型的检测表现与人类对难度的感知无相关性——在人类能轻易识别的伪造视频上表现差。
• 模型在完整测试集上的 AUC 为 87.47%，优于人类受试者（人类 AUC 也为 87.47%），但这并非因为泛化能力更强，而是因为其能检测出视觉复杂深度伪造中的细微伪影。
• 本研究揭示了人类与机器感知之间存在根本性脱节：模型常常在人类一眼就能看出的视觉明显伪造视频上失败，表明机器视觉并未反映人类的视觉推理过程。
• 阈值选择和训练数据显著影响模型表现，其中在 Celeb-DF 上训练的模型在该未见的 Facebook 数据集上表现出比在 Google 的 FaceForensics++ 子集上训练的模型更好的泛化能力。