[论文解读] Deepfake: Definitions, Performance Metrics and Standards, Datasets and Benchmarks, and a Meta-Review

Enes Altuncu, Virginia N. L. Franqueira+1 more|Kent Academic Repository (University of Kent)|Aug 21, 2022

Image Enhancement Techniques被引用 9

一句话总结

本文对深度伪造技术进行了迄今为止最全面的综述，涵盖定义、性能度量、标准、数据集、基准测试，以及2020–2021年12篇综述论文的元分析。研究强调了在生成与检测技术持续演进的‘军备竞赛’背景下，标准化评估、高质量数据集和鲁棒、可泛化的检测方法的迫切需求。

ABSTRACT

Recent advancements in AI, especially deep learning, have contributed to a significant increase in the creation of new realistic-looking synthetic media (video, image, and audio) and manipulation of existing media, which has led to the creation of the new term ``deepfake''. Based on both the research literature and resources in English and in Chinese, this paper gives a comprehensive overview of deepfake, covering multiple important aspects of this emerging concept, including 1) different definitions, 2) commonly used performance metrics and standards, and 3) deepfake-related datasets, challenges, competitions and benchmarks. In addition, the paper also reports a meta-review of 12 selected deepfake-related survey papers published in 2020 and 2021, focusing not only on the mentioned aspects, but also on the analysis of key challenges and recommendations. We believe that this paper is the most comprehensive review of deepfake in terms of aspects covered, and the first one covering both the English and Chinese literature and sources.

研究动机与目标

• 提供一个统一且包容的深度伪造定义，涵盖恶意与良性应用。
• 系统化整理并比较深度伪造研究中的性能度量、标准、数据集、基准测试、挑战与竞赛。
• 对12篇近期综述论文（2020–2021年）进行元分析，以识别重复出现的挑战、建议与研究空白。
• 倡导采用更高品质、标准化且多样化的数据集，以支持深度伪造检测方法的可靠性能比较。
• 推动跨学科研究，涵盖立法、用户教育与信任框架（如水印技术、区块链），以应对恶意使用问题。

提出的方法

• 综合220余项来源（包括中英文文献）的发现，将深度伪造广义定义为通过深度学习或其他复杂技术生成或操纵的合成媒体。
• 将深度伪造检测方法分类为卷积神经网络（CNN）基础型、生成对抗网络（GAN）指纹识别型、数据驱动型及局部特征基础型，并评估其优势与局限性。
• 通过元分析框架分析12篇与深度伪造相关的综述论文，提取关于关键挑战、性能度量与未来研究方向的共识。
• 评估现有数据集的质量、多样性和标准化程度，识别出影响检测性能的问题，如有损压缩和数据依赖性。
• 建议将术语从“deepfake”改为“deep synthesis”，以更中性、包容地反映其正负两方面的应用。
• 推荐采用融合型检测方法（如音视频融合、多检测器融合）及轻量化模型，以适用于资源受限设备的部署。

实验结果

研究问题

• RQ1 ‘deepfake’一词最广泛接受的定义是什么？其在技术、法律与社会语境下的解释有何差异？
• RQ2 在深度伪造检测中，最常使用的性能度量与标准是什么？它们如何影响方法比较的可靠性？
• RQ3 当前深度伪造数据集的关键局限性是什么？这些局限性如何影响检测模型的泛化能力？
• RQ4 在近期综述文献中，最常被引用的挑战与未来研究方向是什么？
• RQ5 跨学科方法（如立法、数字水印与用户教育）如何与技术检测方法相辅相成？

主要发现

• 目前对‘deepfake’的定义尚无普遍共识，其解释范围从基于深度学习的操纵，到任何高度逼真的合成媒体不等。
• 性能度量如准确率、F1值与AUC被广泛使用，但结果常因低质量、非标准化数据集（含压缩损失与数据偏差）而产生误导。
• 对12篇综述论文的元分析一致指出，鲁棒性、可扩展性、泛化能力与可解释性是深度伪造检测的首要挑战。
• 融合多种检测方法（如音视频融合、多模型融合）及视频级分析被强调为提升检测性能的关键未来研究方向。
• 亟需高质量、最新、标准化的数据集，以支持研究社区内可靠的基准测试与模型评估。
• 建议包括：为物联网设备开发轻量化检测模型；实施数字水印与区块链技术以追踪媒体来源；推动立法以遏制恶意使用。