[论文解读] Deepfake Detection: A Comprehensive Survey from the Reliability Perspective

Tianyi Wang, Liao, Xin+3 more|arXiv (Cornell University)|Nov 20, 2022

Digital Media Forensic Detection被引用 8

一句话总结

本文提出了一种以可靠性为核心的深度伪造检测框架，引入基于统计抽样的模型可靠性研究，以评估实际应用中的检测置信度。该研究在基准数据集和真实场景的深度伪造视频上评估了现有模型，发现标准数据集上的高性能并不能保证实际应用中的可靠性，其中Xception和RECCE模型在95%和90%置信水平下的置信区间内表现出不同的成功程度。

ABSTRACT

The mushroomed Deepfake synthetic materials circulated on the internet have raised a profound social impact on politicians, celebrities, and individuals worldwide. In this survey, we provide a thorough review of the existing Deepfake detection studies from the reliability perspective. We identify three reliability-oriented research challenges in the current Deepfake detection domain: transferability, interpretability, and robustness. Moreover, while solutions have been frequently addressed regarding the three challenges, the general reliability of a detection model has been barely considered, leading to the lack of reliable evidence in real-life usages and even for prosecutions on Deepfake-related cases in court. We, therefore, introduce a model reliability study metric using statistical random sampling knowledge and the publicly available benchmark datasets to review the reliability of the existing detection models on arbitrary Deepfake candidate suspects. Case studies are further executed to justify the real-life Deepfake cases including different groups of victims with the help of the reliably qualified detection models as reviewed in this survey. Reviews and experiments on the existing approaches provide informative discussions and future research directions for Deepfake detection.

研究动机与目标

• 为解决深度伪造检测模型在实际应用中可靠性不足的关键问题，特别是在取证和法律用途中的应用。
• 定义并分析阻碍可靠部署的三大核心挑战——可迁移性、可解释性和鲁棒性。
• 提出一种基于随机抽样和基准数据集的标准化、统计基础的模型可靠性研究方案。
• 在真实场景的深度伪造案例上评估现有检测模型，以衡量其实际可靠性及置信区间。
• 为未来研究提供指导，推动实现高可迁移性、高可解释性和高鲁棒性的模型在真实场景中的综合应用。

提出的方法

• 提出一种基于统计随机抽样的模型可靠性研究方案，用于在未见的深度伪造数据上估计检测准确率及其置信区间（90%和95%）。
• 将该可靠性框架应用于公开的基准数据集和真实场景的深度伪造视频，以评估模型在不确定性下的性能表现。
• 利用抽样所得的置信区间量化检测结果的可靠性，从而支持取证级证据评估。
• 采用标准深度学习模型（如Xception、MAT、RECCE）进行评估，比较其在不同数据集和真实案例中的表现。
• 引入标准化的数据准备流程，以确保可靠性评估的一致性和可复现性。
• 从三个维度分析模型性能：可迁移性（跨数据集泛化能力）、可解释性（决策的可解释性）和鲁棒性（在真实世界变化下的性能表现）。

实验结果

研究问题

• RQ1 当应用于标准基准数据集之外的真实场景、未见的深度伪造视频时，当前深度伪造检测模型的可靠性如何？
• RQ2 在数据集内准确率较高的模型在多大程度上无法泛化到真实场景的深度伪造案例中？导致这一差距的因素有哪些？
• RQ3 基于统计抽样的可靠性研究方案是否能为检测结果提供可量化的置信区间，从而支持取证或法律用途？
• RQ4 现有检测模型在可迁移性、可解释性和鲁棒性之间存在何种权衡？这些权衡如何影响其在真实场景中的可靠性？
• RQ5 哪些检测模型在真实场景的深度伪造视频中表现出最可靠的性能？其置信区间如何比较？

主要发现

• 获胜的Xception模型在真实场景的深度伪造视频上评估时，于95%置信水平下实现了65.37%至67.07%的可靠检测准确率范围。
• 尽管在基准数据集中表现优异，如MAT和Xception等模型仍未能正确分类多个真实场景下的伪造视频，表明其在实际应用中鲁棒性较差，尽管其在数据集内的准确率很高。
• RECCE模型在真实场景的深度伪造视频上优于Xception和MAT，展现出在实际场景中更优的鲁棒性和可靠性。
• 基准结果与真实世界评估之间存在显著性能差距，表明当前模型容易受到控制数据集中不存在的对抗性操纵技术的影响。
• AUC值较高但0.5阈值下准确率较低的模型可能通过优化分类阈值得到改善，凸显了阈值调优在实现可靠检测中的重要性。
• 可迁移性、可解释性和鲁棒性之间的权衡是客观上不可避免的；目前尚无任何模型能同时以高可靠性满足这三项挑战。