[论文解读] Deep Fake Detection: Survey of Facial Manipulation Detection Solutions

Samay Pashine, Sagar Mandiya+2 more|arXiv (Cornell University)|Jun 23, 2021

Digital Media Forensic Detection参考文献 13被引用 7

一句话总结

本文评估了当前最先进的深度神经网络模型——MesoNet、ResNet-50、VGG-19 和 Xception——在实时与高精度场景下对深度伪造视频的检测性能。研究发现，Xception 凭借其深度可分离卷积结构在准确率方面表现最佳；而 VGG-19 在中等资源环境下提供了速度与性能的最佳平衡。

ABSTRACT

Deep Learning as a field has been successfully used to solve a plethora of complex problems, the likes of which we could not have imagined a few decades back. But as many benefits as it brings, there are still ways in which it can be used to bring harm to our society. Deep fakes have been proven to be one such problem, and now more than ever, when any individual can create a fake image or video simply using an application on the smartphone, there need to be some countermeasures, with which we can detect if the image or video is a fake or real and dispose of the problem threatening the trustworthiness of online information. Although the Deep fakes created by neural networks, may seem to be as real as a real image or video, it still leaves behind spatial and temporal traces or signatures after moderation, these signatures while being invisible to a human eye can be detected with the help of a neural network trained to specialize in Deep fake detection. In this paper, we analyze several such states of the art neural networks (MesoNet, ResNet-50, VGG-19, and Xception Net) and compare them against each other, to find an optimal solution for various scenarios like real-time deep fake detection to be deployed in online social media platforms where the classification should be made as fast as possible or for a small news agency where the classification need not be in real-time but requires utmost accuracy.

研究动机与目标

• 评估并比较 MesoNet、ResNet-50、VGG-19 和 Xception 网络在检测深度伪造视频中面部篡改行为方面的性能。
• 识别适用于不同部署场景的最优模型——在低端硬件上实现实时检测，或在高端系统上实现高精度检测。
• 基于推理时间、准确率、损失值和硬件需求，评估多个基准数据集上的模型效率。
• 为新闻机构、社交媒体平台及政府机构在媒体取证领域提供模型选择的可操作建议。

提出的方法

• 在三个公开数据集（Celeb-DF、Celeb-DF-v2 和 Kaggle 竞赛中的 DFDC）上训练并评估 MesoNet、ResNet-50、VGG-19 和 Xception 网络。
• 采用标准深度学习训练协议，使用交叉熵损失和 Adam 优化器，确保模型间公平比较。
• 应用数据增强和迁移学习技术，以提升在有限训练数据上的泛化能力。
• 通过准确率、损失值、推理时间及模型复杂度来衡量性能，评估速度与精度之间的权衡。
• 对 Xception 和 ResNet-50 等复杂模型应用 TensorRT 优化，以减少推理时间。
• 利用注意力机制和特征图分析深度伪造中的空间与时间伪影，以提升检测灵敏度。

实验结果

研究问题

• RQ1 在 Celeb-DF、Celeb-DF-v2 和 DFDC 等多样化深度伪造数据集中，哪种深度学习架构实现了最高的检测准确率？
• RQ2 在真实部署场景中，MesoNet、ResNet-50、VGG-19 和 Xception 的推理时间与模型复杂度如何变化？
• RQ3 在低端与高端系统中，深度伪造检测的模型准确率与硬件需求之间存在何种权衡？
• RQ4 基于注意力的改进是否能在具有挑战性的深度伪造样本上超越标准架构的检测性能？
• RQ5 哪种模型在社交媒体平台或新闻机构部署中，提供了速度、准确率与资源效率的最佳平衡？

主要发现

• Xception 在所有三个数据集上均展现出最高的检测准确率，归因于其深度可分离卷积结构。
• ResNet-50 与 VGG-19 在准确率和损失值上表现相近，但 ResNet-50 更深的网络架构使其在检测复杂且精心制作的深度伪造内容方面更具优势。
• 由于其浅层结构，MesoNet 在复杂深度伪造样本上的表现有限，仅适用于对推理时间有严格限制的低端硬件。
• VGG-19 在推理速度与准确率之间实现了良好平衡，在硬件效率方面优于更重的模型如 ResNet-50 和 Xception。
• Xception 需要显著更高的训练与推理时间，并依赖高端硬件，但其性能优势使其在对准确率要求极高的应用中具有合理价值。
• TensorRT 优化显著降低了 Xception 和 ResNet-50 的推理时间，使其在优化环境中更适用于实时部署。