[论文解读] Deep Normalization for Speaker Vectors

Yunqi Cai, Lantian Li+2 more|arXiv (Cornell University)|Apr 7, 2020

Speech Recognition and Synthesis参考文献 66被引用 9

一句话总结

该论文提出通过一种新颖的判别性归一化流（Discriminative Normalization Flow, DNF）模型实现深度说话人向量的深度归一化，以解决PLDA评分中非高斯性和非齐次分布导致的性能下降问题。DNF模型通过非线性变换将说话人嵌入映射至更规则的分布，显著优于LDA和基线归一化方法，在SITW和CNCeleb数据集上实现了最先进性能。

ABSTRACT

Deep speaker embedding has demonstrated state-of-the-art performance in speaker recognition tasks. However, one potential issue with this approach is that the speaker vectors derived from deep embedding models tend to be non-Gaussian for each individual speaker, and non-homogeneous for distributions of different speakers. These irregular distributions can seriously impact speaker recognition performance, especially with the popular PLDA scoring method, which assumes homogeneous Gaussian distribution. In this paper, we argue that deep speaker vectors require deep normalization, and propose a deep normalization approach based on a novel discriminative normalization flow (DNF) model. We demonstrate the effectiveness of the proposed approach with experiments using the widely used SITW and CNCeleb corpora. In these experiments, the DNF-based normalization delivered substantial performance gains and also showed strong generalization capability in out-of-domain tests.

研究动机与目标

• 解决深度说话人向量中非高斯性和非齐次分布的问题，此类问题会负面影响基于PLDA的评分性能。
• 开发一种非线性归一化方法，以提升跨说话人分布的规则性。
• 增强说话人识别系统在分布外设置下的泛化能力。
• 证明深度归一化对于最大化深度说话人嵌入系统性能至关重要。

提出的方法

• 提出判别性归一化流（DNF）模型，作为线性判别分析（LDA）的非线性扩展。
• 采用归一化流框架，通过可逆变换建模复杂、非高斯且异质的说话人向量分布。
• 在潜在空间上使用最大似然（ML）目标函数训练DNF模型，实现归一化过程的端到端优化。
• 在后端评分前对说话人嵌入应用DNF变换，以提升分布规则性。
• 采用基于流的架构，利用耦合层建模从原始说话人向量到归一化潜在空间的变换。
• 将DNF模型作为说话人嵌入提取后的后处理步骤集成，兼容现有的x-vector和ResNet-based系统。

实验结果

研究问题

• RQ1 像DNF这样的非线性归一化方法是否能优于LDA等线性方法，在规则化深度说话人向量分布方面表现更优？
• RQ2 深度归一化是否能在SITW和CNCeleb等标准基准上显著提升说话人识别性能？
• RQ3 在LDA性能显著下降的分布外评估场景中，DNF模型表现如何？
• RQ4 DNF模型在多大程度上改善了说话人向量分布的高斯性和齐次性？
• RQ5 尽管说话人分布复杂且相互依赖，DNF模型是否仍能有效训练？

主要发现

• 在SITW测试集上，基于DNF的归一化方法实现了2.93%的EER，优于基于LDA的基线（2.82%）和DNF-LDA组合（2.83%）。
• 在CNCeleb数据集上，DNF模型实现了12.59%的EER，显著优于基线x-vector（14.02%）和LDA（13.42%）。
• DNF模型展现出强大的泛化能力，在LDA性能严重下降的分布外评估中仍保持高水平性能。
• 训练分析表明，DNF成功降低了峰度、偏度和方向方差，表明说话人分布的高斯性和齐次性得到改善。
• DNF模型在交叉熵损失和判别度量上持续改进，证实了在归一化空间中类间可分性得到增强。
• 在SITW开发集上，DNF模型实现了1.86%的EER，表明在多种评估协议下均实现了稳定的性能提升。