[论文解读] A Comparison of Metric Learning Loss Functions for End-To-End Speaker Verification

Juan Manuel Coria, Hervé Bredin+2 more|arXiv (Cornell University)|Mar 31, 2020

Speech Recognition and Synthesis参考文献 27被引用 8

一句话总结

本文针对使用VoxCeleb数据集的端到端说话人验证，系统比较了六种度量学习损失函数，评估其性能、训练时间与鲁棒性。结果表明，加法角度边界损失在准确率、鲁棒性与效率方面均优于其他损失函数，结合SincNet与x-vector架构时，可实现真正端到端的系统，且后处理步骤极少。

ABSTRACT

Despite the growing popularity of metric learning approaches, very little work has attempted to perform a fair comparison of these techniques for speaker verification. We try to fill this gap and compare several metric learning loss functions in a systematic manner on the VoxCeleb dataset. The first family of loss functions is derived from the cross entropy loss (usually used for supervised classification) and includes the congenerous cosine loss, the additive angular margin loss, and the center loss. The second family of loss functions focuses on the similarity between training samples and includes the contrastive loss and the triplet loss. We show that the additive angular margin loss function outperforms all other loss functions in the study, while learning more robust representations. Based on a combination of SincNet trainable features and the x-vector architecture, the network used in this paper brings us a step closer to a really-end-to-end speaker verification system, when combined with the additive angular margin loss, while still being competitive with the x-vector baseline. In the spirit of reproducible research, we also release open source Python code for reproducing our results, and share pretrained PyTorch models on torch.hub that can be used either directly or after fine-tuning.

研究动机与目标

• 为解决说话人验证中度量学习损失函数之间缺乏公平、系统性比较的问题。
• 在统一的端到端框架中，评估多种损失函数的性能、训练效率与鲁棒性。
• 识别出最适合构建真正端到端说话人验证系统的最优损失函数，且后端复杂度最低。
• 通过发布开源代码与预训练的PyTorch模型，促进研究可复现性。

提出的方法

• 本研究采用统一的端到端架构，结合SincNet进行原始音频特征学习，以及x-vector进行嵌入提取。
• 评估六种损失函数：交叉熵损失、同源余弦损失、加法角度边界损失、中心损失、对比损失与三元组损失。
• 训练过程中通过MUSAN数据集中的随机背景噪声进行数据增强，信噪比（SNR）设定在10–20 dB之间。
• 对于基于分类的损失函数，使用128个不同说话人的批量，每批128个样本；对于基于对比的损失函数，批量包含20或40个说话人，每个说话人2–3段语音。
• 通过网格搜索调整学习率、边界值与权重系数等超参数，并在表1中报告结果。
• 性能评估基于VoxCeleb 1测试集的等错误率（EER），并分别在使用与不使用自适应s-norm得分归一化的情况下进行。

实验结果

研究问题

• RQ1 在VoxCeleb 1数据集上，哪种度量学习损失函数能实现最高的说话人验证准确率？
• RQ2 不同损失函数在训练时间与收敛速度方面有何差异？
• RQ3 与标准分类损失相比，基于边距的损失函数在应对领域偏移时能多大程度上提升鲁棒性？
• RQ4 是否可以仅使用单一度量损失函数，构建一个完全端到端的系统，从而替代传统x-vector系统中复杂的后端处理流程？

主要发现

• 加法角度边界损失在VoxCeleb 1上实现了最低的EER，显著优于所有其他损失函数。
• 在使用自适应s-norm得分归一化后，加法角度边界损失的性能与使用手工设计特征的标准x-vector基线相当。
• 加法角度边界损失表现出最高的鲁棒性，因为得分归一化带来的性能提升不具统计显著性，表明其具备内在泛化能力。
• 仅对比损失与加法角度边界损失的性能增益在得分归一化后不具统计显著性，表明其具有更好的领域泛化能力。
• 同源余弦损失与基于对比的损失函数（对比损失与三元组损失）收敛速度较慢，模型在训练200小时后仍持续提升。
• 加法角度边界损失是唯一在准确率、鲁棒性与训练效率三项指标上均表现卓越的损失函数。