[论文解读] ASVspoof 2021: Automatic Speaker Verification Spoofing and Countermeasures Challenge Evaluation Plan

Héctor Delgado, Nicholas Evans+9 more|arXiv (Cornell University)|Sep 1, 2021

Speech Recognition and Synthesis参考文献 6被引用 130

一句话总结

本论文概述了 ASVspoof 2021 挑战计划，包含三个任务（Logical Access、Physical Access 和 Speech Deepfake）、评估指标（ASV-constrained t-DCF 和 EER）、数据划分、基线和提交规则，以促使对抗欺骗的鲁棒性。

ABSTRACT

The automatic speaker verification spoofing and countermeasures (ASVspoof) challenge series is a community-led initiative which aims to promote the consideration of spoofing and the development of countermeasures. ASVspoof 2021 is the 4th in a series of bi-annual, competitive challenges where the goal is to develop countermeasures capable of discriminating between bona fide and spoofed or deepfake speech. This document provides a technical description of the ASVspoof 2021 challenge, including details of training, development and evaluation data, metrics, baselines, evaluation rules, submission procedures and the schedule.

研究动机与目标

• 促进对欺骗防御对策在通道变异和现实世界条件下的鲁棒性。
• 在真实物理空间中捕获的录音和压缩数据上评估对策。
• 评估数据增强的效果并将相关性扩展到非 ASV 深度伪造检测。
• 提供定义了协议、指标和基线的共同评估框架。

提出的方法

• 引入三个任务：Logical Access (LA)、Physical Access (PA)、和 Speech Deepfake (DF)。
• 将 ASV-constrained t-DCF 作为 LA 和 PA 的主要指标，DF 使用 EER。
• 提供带标签的训练/开发数据和基线代码；评估数据未带标签。
• 基于深度说话人嵌入和 PLDA 评分的通用 ASV 系统。
• 基线对策包括 LFCC-GMM、CQCC-GMM、LFCC-LCNN 和 RawNet2，源代码可在公共代码库中获得。

实验结果

研究问题

• RQ1 在 LA/PA 场景中，对抗措施如何在编解码器和传输变异性下实现泛化？
• RQ2 在 ASVspoof 2019 数据上训练的对抗措施能否适应更现实的、真实空间记录？
• RQ3 数据增强和领域错配对欺骗检测性能有何影响？
• RQ4 在 DF 中没有 ASV 系统时，深度伪造检测方法的有效性如何？
• RQ5 有哪些定义的评估协议和度量标准，能够实现对对抗措施的公平、可扩展比较？

主要发现

• 该计划引入三个任务（LA、PA、DF），将欺骗检测扩展到超越传统 ASV 约束。
• 主要指标为 LA 和 PA 的 ASV-constrained t-DCF，辅助指标为 EER；DF 使用 EER。
• 培训使用 ASVspoof 2019 数据进行 CA 开发，新的评估数据反映现实世界条件。
• 提供基线对抗措施与开源代码，方便可重复的比较。
• 评估规则限制外部数据使用，并在评估阶段要求每个任务仅提交一次。