[论文解读] Deep Speaker Embeddings for Far-Field Speaker Recognition on Short Utterances

Aleksei Gusev, Vladimir Volokhov+12 more|arXiv (Cornell University)|Feb 14, 2020

Speech Recognition and Synthesis参考文献 33被引用 5

一句话总结

该论文提出了一种基于ResNet的深度说话人嵌入系统，采用MFB特征和AM-Softmax训练方法，以提升在噪声、混响环境中短语音的远场说话人验证性能。该方法实现了最先进性能，在VoxCeleb1数据集1秒语音上将EER降低至2.26%，在VOiCES数据集1秒语音上达到10.80%的EER，显著优于x-vector和TDNN基线模型在短时长和噪声环境下的表现。

ABSTRACT

Speaker recognition systems based on deep speaker embeddings have achieved significant performance in controlled conditions according to the results obtained for early NIST SRE (Speaker Recognition Evaluation) datasets. From the practical point of view, taking into account the increased interest in virtual assistants (such as Amazon Alexa, Google Home, AppleSiri, etc.), speaker verification on short utterances in uncontrolled noisy environment conditions is one of the most challenging and highly demanded tasks. This paper presents approaches aimed to achieve two goals: a) improve the quality of far-field speaker verification systems in the presence of environmental noise, reverberation and b) reduce the system qualitydegradation for short utterances. For these purposes, we considered deep neural network architectures based on TDNN (TimeDelay Neural Network) and ResNet (Residual Neural Network) blocks. We experimented with state-of-the-art embedding extractors and their training procedures. Obtained results confirm that ResNet architectures outperform the standard x-vector approach in terms of speaker verification quality for both long-duration and short-duration utterances. We also investigate the impact of speech activity detector, different scoring models, adaptation and score normalization techniques. The experimental results are presented for publicly available data and verification protocols for the VoxCeleb1, VoxCeleb2, and VOiCES datasets.

研究动机与目标

• 解决因环境噪声、混响以及语音时长短导致的远场说话人验证性能低下问题。
• 提升说话人嵌入系统在非受控声学条件下短时语音（1秒、2秒、5秒）的鲁棒性。
• 探究ResNet架构相较于标准x-vector（基于TDNN）系统在短语音和噪声环境下的有效性。
• 优化系统组件，包括语音活动检测（VAD）、打分模型和分数归一化，以提升性能。
• 在不同测试协议下，验证系统在VoxCeleb1、VoxCeleb2和VOiCES等数据集上的泛化能力。

提出的方法

• 采用ResNet34架构，结合高频率分辨率（80个频带）的MFB（梅尔频率三角滤波器组）特征，以捕捉详细的频谱动态特性。
• 使用AM-Softmax（角度Margin Softmax）损失函数训练嵌入提取器，以增强类间间隔并提升判别能力。
• 引入基于U-Net的端到端语音活动检测器（VAD），相比基于能量的VAD，能更有效地提升在噪声和非语音段下的鲁棒性。
• 应用域内中心化和分数归一化技术，以减少分数偏差，并提升在不同测试条件下的校准性能。
• 采用余弦相似度（CS）打分后端，并结合LDA/PLDA适配，以完成最终的验证决策。
• 在多个数据集上进行训练与评估：VoxCeleb1、VoxCeleb2和VOiCES，采用标准化协议处理短语音（1秒、2秒、5秒）和完整语音段。

实验结果

研究问题

• RQ1 在噪声和混响的远场条件下，基于ResNet的说话人嵌入模型是否能在短语音上实现优于标准x-vector（基于TDNN）系统的EER表现？
• RQ2 在短时语音上进行训练，如何影响说话人嵌入模型在更长测试语音段上的泛化性能？
• RQ3 在噪声远场环境中，与传统基于能量的VAD相比，基于U-Net的VAD在多大程度上提升了系统的鲁棒性？
• RQ4 分数归一化和域内中心化对VOiCES等挑战性数据集上最终验证性能的贡献程度如何？
• RQ5 不同损失函数（如AM-Softmax与标准Softmax）对短语音上模型泛化能力和性能的影响是什么？

主要发现

• ResNet34-MFB80-AM-TrainData-IV模型在VoxCeleb1短语音协议中1秒语音上的EER达到2.26%，显著优于基线ResNet34模型（12.71% EER）。
• 在VOiCES（测试集）中，ResNet34-MFB80-AM-TrainData-IV系统在1秒语音上的EER为10.80%，显著优于x-vector基线模型（25.62% EER）的性能。
• 在短语音（1秒和2秒）上进行训练，提升了短时语音测试的性能，但导致在完整语音段上出现轻微性能下降，表明存在领域特定的优化权衡。
• 与x-vector系统相比，基于ResNet的模型在噪声和混响环境下表现出更强的鲁棒性，短语音条件下EER最高可降低50%。
• 基于U-Net的VAD和分数归一化技术显著提升了系统性能，尤其在低信噪比和远场场景下。
• 表现最佳的系统ResNet34-MFB80-AM-TrainData-IV在所有数据集（VoxCeleb1、VoxCeleb2、VOiCES）上均表现出一致的性能提升，证实了所提出架构与训练策略的有效性。