[论文解读] Margin Matters: Towards More Discriminative Deep Neural Network Embeddings for Speaker Recognition

Xu Xiang, Shuai Wang+3 more|arXiv (Cornell University)|Jun 18, 2019

Speech Recognition and Synthesis参考文献 25被引用 22

一句话总结

本文提出了基于边距的损失函数——A-Softmax、AM-Softmax 和 AAM-Softmax，以增强深度神经网络中判别性说话人嵌入的学习。通过显式强制类间边距和类内紧凑性，该方法在 VoxCeleb1（2.238%）和 SITW（2.761%）上相比标准 Softmax 损失将 EER 降低了 25%–30%，达到最先进性能。

ABSTRACT

Recently, speaker embeddings extracted from a speaker discriminative deep neural network (DNN) yield better performance than the conventional methods such as i-vector. In most cases, the DNN speaker classifier is trained using cross entropy loss with softmax. However, this kind of loss function does not explicitly encourage inter-class separability and intra-class compactness. As a result, the embeddings are not optimal for speaker recognition tasks. In this paper, to address this issue, three different margin based losses which not only separate classes but also demand a fixed margin between classes are introduced to deep speaker embedding learning. It could be demonstrated that the margin is the key to obtain more discriminative speaker embeddings. Experiments are conducted on two public text independent tasks: VoxCeleb1 and Speaker in The Wild (SITW). The proposed approach can achieve the state-of-the-art performance, with 25% ~ 30% equal error rate (EER) reduction on both tasks when compared to strong baselines using cross entropy loss with softmax, obtaining 2.238% EER on VoxCeleb1 test set and 2.761% EER on SITW core-core test set, respectively.

研究动机与目标

• 为解决标准 Softmax 损失在促进说话人嵌入类间可分性和类内紧凑性方面的局限性。
• 探究显式建模分类边距是否能提升深度说话人嵌入系统的泛化能力和判别力。
• 评估三种基于边距的损失函数（A-Softmax、AM-Softmax 和 AAM-Softmax）在标准说话人识别基准上的有效性。
• 通过基于 x-vector 的深度神经网络，在文本无关说话人识别任务中实现最先进性能。

提出的方法

• 提出 A-Softmax 损失，通过引入边距参数 m 修改 logits，实现在角度空间中的边距强制。
• 提出 AM-Softmax 损失，直接在权重向量与输入嵌入之间的余弦相似度上添加边距。
• 提出 AAM-Softmax 损失，同时在角度空间和余弦空间中保持边距。
• 采用标准的 x-vector DNN 架构，包含时间延迟层、统计池化层和批量归一化层，使用所提出的基于边距的损失进行训练。
• 应用数据增强技术，并使用随机梯度下降进行优化，从最后一层隐藏层提取嵌入。
• 采用可调的边距参数 m，以平衡类间分离度与类内紧凑性。

实验结果

研究问题

• RQ1 显式强制类间边距是否能提升深度说话人嵌入的判别质量？
• RQ2 在嵌入质量与识别性能方面，不同基于边距的损失函数（A-Softmax、AM-Softmax、AAM-Softmax）表现如何比较？
• RQ3 基于边距的损失是否能在文本无关说话人识别任务中超越标准 Softmax 损失？
• RQ4 边距大小对泛化能力及未见说话人性能的影响如何？
• RQ5 基于边距的训练能否在 VoxCeleb1 和 SITW 等标准基准上实现最先进结果？

主要发现

• AAM-Softmax 损失在 VoxCeleb1 上表现最佳，将 EER 降低至 2.238%，相比 Softmax 基线实现 30% 的相对降低。
• 在 SITW 核心-核心测试集上，AAM-Softmax 系统实现 2.761% 的 EER，相比 Softmax 基线降低 25% 的相对 EER。
• 所有三种基于边距的损失（A-Softmax、AM-Softmax、AAM-Softmax）均显著优于标准 Softmax 损失，在两个数据集上均实现一致的 EER 降低。
• AAM-Softmax 损失在类间分离度与类内紧凑性之间实现了最佳平衡，从而在未见说话人上展现出更优的泛化能力。
• 即使仅在 VoxCeleb2 开发集上训练（不使用数据增强），AAM-Softmax 系统在 VoxCeleb1 上实现 16% 的 EER 降低，在 VoxCeleb1-E 上实现 12%，在具有挑战性的 VoxCeleb1-H 子集上实现 6% 的降低。
• 结果证实，边距强制是学习更具判别性的说话人嵌入的关键因素，显著提升了在真实世界评估集上的鲁棒性与性能。