[论文解读] The 2020 Personalized Voice Trigger Challenge: Open Database, Evaluation Metrics and the Baseline Systems

Yan Jia, Xingming Wang+5 more|arXiv (Cornell University)|Jan 6, 2021

Speech and Audio Processing参考文献 23被引用 6

一句话总结

本文介绍了2020年个性化语音唤醒挑战赛（PVTC2020），提出一个开源数据库（XIAO-LE）及评估指标，用于实现语音依赖型唤醒词检测，并联合进行关键词检测（KWS）与说话人验证。该研究提出一种两阶段端到端神经网络基线系统，在优化漏检率与误报率的基础上，实现了0.37（近讲）和0.31（远场）的成本表现。

ABSTRACT

The 2020 Personalized Voice Trigger Challenge (PVTC2020) addresses two different research problems a unified setup: joint wake-up word detection with speaker verification on close-talking single microphone data and far-field multi-channel microphone array data. Specially, the second task poses an additional cross-channel matching challenge on top of the far-field condition. To simulate the real-life application scenario, the enrollment utterances are recorded from close-talking cell-phone only, while the test utterances are recorded from both the close-talking cell-phone and the far-field microphone arrays. This paper introduces our challenge setup and the released database as well as the evaluation metrics. In addition, we present a joint end-to-end neural network baseline system trained with the proposed database for speaker-dependent wake-up word detection. Results show that the cost calculated from the miss rate and the false alarm rate, can reach 0.37 in the close-talking single microphone task and 0.31 in the far-field microphone array task. The official website and the open-source baseline system have been released.

研究动机与目标

• 通过在单一框架中统一唤醒词检测与说话人验证，解决个性化语音唤醒系统面临的挑战。
• 利用真实录音环境下的近讲与远场条件，提供一个真实的说话人依赖型关键词检测基准。
• 实现唤醒检测与说话人验证的联合优化，以提升系统鲁棒性并减少非授权用户引发的误触发。
• 通过共享评估平台，促进紧凑、高效且鲁棒的端到端个性化语音助手模型的研究。
• 通过开放数据与标准化评估指标，推动语音触发设备在多任务学习、损失函数设计与领域自适应方面的创新。

提出的方法

• 发布XIAO-LE数据库，包含来自550名说话人的658,995段语音，涵盖近讲手机与多通道麦克风阵列两种场景。
• 设计两阶段基线系统：首先，基于DNN的关键词检测（KWS）模型使用80维对数梅尔滤波器组特征与交叉熵损失，检测'xiao le'。
• 其次，说话人验证网络从KWS输出中提取固定长度的说话人嵌入，并利用余弦相似度与注册模板进行比较。
• 基于等错误率（EER）与最小检测代价函数（minDCF）设定阈值，以区分注册用户与非授权用户。
• 使用带有Nesterov动量与学习率衰减的随机梯度下降法训练KWS与说话人验证组件。
• 通过结合误拒绝率（FRR）与误报率（FAR）的代价函数评估性能，目标为每小时1次误报。

实验结果

研究问题

• RQ1 联合学习唤醒词检测与说话人验证在多大程度上可提升系统鲁棒性并减少误触发？
• RQ2 在结合近讲与远场麦克风条件的真实开放数据集上，可实现何种性能表现？
• RQ3 与单麦克风设置相比，多通道麦克风阵列数据对说话人依赖型唤醒词检测性能有何影响？
• RQ4 基于EER与minDCF的阈值策略中，哪种能更优地平衡误拒绝率与误报率？
• RQ5 统一的端到端基线系统在多变声学环境下的表现可达到多低成本？

主要发现

• 基线系统在近讲单麦克风任务（任务1）中实现0.37的成本，计算方式为漏检率与误报率的加权和。
• 在远场多通道麦克风阵列任务（任务2）中，成本降至0.31，表明尽管面临更大的声学挑战，系统鲁棒性仍得到提升。
• 基于EER与minDCF平均值设定阈值的第二阶段说话人验证系统（基线V2）相比仅使用EER的基线，性能显著提升。
• 远场条件下开发集性能有所下降，但测试集表现更优，表明多通道波束成形能有效缓解距离引起的性能退化。
• 采用联合两阶段系统并比较说话人嵌入，即使唤醒词发音相似，也能显著减少非注册用户引发的误触发。
• 公开发布XIAO-LE数据库与官方基线系统，支持研究可复现性及个性化语音唤醒研究的进一步基准测试。