[论文解读] Generalized End-to-End Loss for Speaker Verification

Li Wan, Quan Wang+2 more|arXiv (Cornell University)|Oct 28, 2017

Speech Recognition and Synthesis参考文献 13被引用 28

一句话总结

本文提出了广义端到端（GE2E）损失函数，用于说话人验证，通过动态强调困难样本，无需初始样本选择，从而提升训练效率与性能。相比先前的TE2E损失，该方法将EER降低超过10%，训练时间减少60%；同时，MultiReader技术实现了多关键词与多语种的联合训练，支持鲁棒的多领域适应。

ABSTRACT

In this paper, we propose a new loss function called generalized end-to-end (GE2E) loss, which makes the training of speaker verification models more efficient than our previous tuple-based end-to-end (TE2E) loss function. Unlike TE2E, the GE2E loss function updates the network in a way that emphasizes examples that are difficult to verify at each step of the training process. Additionally, the GE2E loss does not require an initial stage of example selection. With these properties, our model with the new loss function decreases speaker verification EER by more than 10%, while reducing the training time by 60% at the same time. We also introduce the MultiReader technique, which allows us to do domain adaptation - training a more accurate model that supports multiple keywords (i.e. "OK Google" and "Hey Google") as well as multiple dialects.

研究动机与目标

• 开发一种更高效、更有效的损失函数，用于训练端到端说话人验证模型。
• 消除训练过程中对初始样本选择阶段的需求，提升训练流程的简洁性。
• 通过在优化过程中聚焦于难以验证的样本，提升模型泛化能力。
• 实现对多关键词（如“OK Google”、“Hey Google”）和多语种说话人验证的领域自适应。
• 在保持文本相关与文本无关设置下验证准确率的同时，减少训练时间。

提出的方法

• GE2E损失处理一个包含N名说话人的批量数据，每名说话人拥有M段语音，形成单一训练批次，以实现高效的大规模优化。
• 对于每名说话人，其M段语音嵌入的中心向量通过对其L2归一化嵌入取平均计算得出。
• 损失函数使用评估语音嵌入与说话人中心向量之间的余弦相似度，并引入可学习的缩放与偏移参数。
• 损失定义为正样本对与负样本对损失的加权和，其中正样本对（同说话人）被鼓励具有高相似度，负样本对（不同说话人）则被鼓励具有低相似度。
• GE2E损失通过基于每批次中最模糊或最具挑战性的比较动态强调困难样本，实现模型更新。
• MultiReader技术通过学习共享嵌入空间，实现对多个数据源（如“OK Google”与“Hey Google”）的联合训练，有效应对数据源之间的不平衡问题。

实验结果

研究问题

• RQ1 广义端到端损失函数是否能在无需显式样本选择的情况下，提升说话人验证的训练效率与模型准确率？
• RQ2 在文本相关与文本无关设置下，GE2E损失与先前的TE2E损失在EER与训练速度方面相比如何？
• RQ3 MultiReader技术是否能有效整合具有不同规模与分布的多个数据源，从而提升多关键词与多语种说话人验证的模型鲁棒性？
• RQ4 GE2E损失是否通过在训练过程中聚焦于困难样本，实现更好的泛化能力？
• RQ5 GE2E与MultiReader的结合在真实世界说话人验证场景中，能在多大程度上降低EER并减少训练时间？

主要发现

• 与TE2E基线相比，GE2E损失在文本相关与文本无关任务中均将说话人验证的等错误率（EER）降低超过10%。
• 使用GE2E训练的效率比使用TE2E高出约60%，显著提升了训练效率。
• MultiReader技术在所有四个测试案例中（如使用“Hey Google”进行验证时，“OK Google”作为注册数据）实现了约30%的相对EER改进。
• 在文本无关说话人验证中，GE2E将EER降低至3.55%，相比TE2E（4.13%）和Softmax（4.06%）实现了超过10%的相对提升。
• 在18,000名说话人共3600万段语音上训练的GE2E模型，实现了更快的收敛速度与更好的泛化能力，训练速度约为TE2E的3倍。
• GE2E与MultiReader的结合使单一模型能够以高精度支持多个关键词与语种，即使在训练数据源高度不平衡的情况下也表现良好。