[论文解读] A Survey on Speech Deepfake Detection

Menglu Li, Yasaman Ahmadiadli+1 more|arXiv (Cornell University)|Apr 22, 2024

Digital Media Forensic Detection被引用 9

一句话总结

本综述针对由 TTS 和 VC 生成的语音深度伪造的音频反欺骗检测进行综述，涵盖架构、数据集、指标、优化技术和开源资源，并讨论挑战与未来方向。

ABSTRACT

The availability of smart devices leads to an exponential increase in multimedia content. However, advancements in deep learning have also enabled the creation of highly sophisticated Deepfake content, including speech Deepfakes, which pose a serious threat by generating realistic voices and spreading misinformation. To combat this, numerous challenges have been organized to advance speech Deepfake detection techniques. In this survey, we systematically analyze more than 200 papers published up to March 2024. We provide a comprehensive review of each component in the detection pipeline, including model architectures, optimization techniques, generalizability, evaluation metrics, performance comparisons, available datasets, and open source availability. For each aspect, we assess recent progress and discuss ongoing challenges. In addition, we explore emerging topics such as partial Deepfake detection, cross-dataset evaluation, and defences against adversarial attacks, while suggesting promising research directions. This survey not only identifies the current state of the art to establish strong baselines for future experiments but also offers clear guidance for researchers aiming to enhance speech Deepfake detection systems.

研究动机与目标

• 定义并对被欺骗的音频进行分类，包括完全欺骗和部分欺骗。
• 提供音频反欺骗检测流程及其组成模块的全面综述。
• 评估用于音频欺骗检测的数据集、评估指标和基准测试实践。
• 分析训练优化技术（数据增强、损失函数、激活函数）及其对性能的影响。
• 讨论新兴研究主题（部分欺骗、跨数据集评估、对抗性防御）以及开源可用性。

提出的方法

• 对检测体系结构进行系统性综述，从前端特征提取到后端分类器和端到端模型。
• 将特征提取方法分为手工设计的谱特征、深度学习特征和分析导向的特征。
• 评估用于音频反欺骗的数据集与指标，包括完全欺骗和部分欺骗数据以及真实数据集。
• 评估训练优化技术及其对模型性能的影响。
• 讨论开源资源与基准测试实践，以实现可重复研究。
• 识别该领域的挑战与未来方向。

Figure 1. Relationship of ASV systems and Anti-Spoofing CMs

实验结果

研究问题

• RQ1 哪些体系结构与特征能够对完全欺骗音频（TTS/VC）和部分欺骗片段实现鲁棒检测？
• RQ2 数据集、未见攻击与编解码器如何影响跨基准的泛化能力和评估指标？
• RQ3 训练技术（数据增强、损失函数、激活选择）对检测性能的影响是什么？
• RQ4 哪些新兴话题（部分欺骗、跨数据集迁移、对抗防御）以及开源资源可为未来工作提供指引？

主要发现

• 该综述覆盖了音频反欺骗检测的广泛组成部分、数据集、指标和开源资源。
• 它评估了模型训练中的优化技术，包括数据增强、激活函数和损失函数，并讨论了它们对性能的影响。
• 它强调完全欺骗和部分欺骗场景、跨数据集评估以及对抗性防御作为新兴研究主题。
• 它提供关于 SOTA 模型和基准数据集的开源信息，以促进可重复研究。
• 它指出了 SOTA 性能、泛化和数据集多样性方面的当前挑战，为未来工作提供方向。

Figure 2. Different structures of current SASV models. (a) Cascaded System (b) Score-level Fusion, (c) Embedding-level Fusion, and (d) Integrated (E2E) System.