[论文解读] Bayesian x-vector: Bayesian Neural Network based x-vector System for Speaker Verification

Xu Li, Jinghua Zhong+5 more|arXiv (Cornell University)|Apr 8, 2020

Speech Recognition and Synthesis参考文献 27被引用 5

一句话总结

本文提出贝叶斯x-vector，一种通过贝叶斯神经网络（BNN）增强的深度神经网络（DNN）x-vector系统，用于说话人验证，以在数据分布不匹配条件下提升泛化能力。通过在时延神经网络（TDNN）层中利用变分推断建模权重不确定性，该系统减少了过拟合现象，并增强了鲁棒性，尤其在域外条件下表现更优，在NIST SRE10评估中实现了4.69%的相对EER降低，融合后达到6.53%。

ABSTRACT

Speaker verification systems usually suffer from the mismatch problem between training and evaluation data, such as speaker population mismatch, the channel and environment variations. In order to address this issue, it requires the system to have good generalization ability on unseen data. In this work, we incorporate Bayesian neural networks (BNNs) into the deep neural network (DNN) x-vector speaker verification system to improve the system's generalization ability. With the weight uncertainty modeling provided by BNNs, we expect the system could generalize better on the evaluation data and make verification decisions more accurately. Our experiment results indicate that the DNN x-vector system could benefit from BNNs especially when the mismatch problem is severe for evaluations using out-of-domain data. Specifically, results show that the system could benefit from BNNs by a relative EER decrease of 2.66% and 2.32% respectively for short- and long-utterance in-domain evaluations. Additionally, the fusion of DNN x-vector and Bayesian x-vector systems could achieve further improvement. Moreover, experiments conducted by out-of-domain evaluations, e.g. models trained on Voxceleb1 while evaluated on NIST SRE10 core test, suggest that BNNs could bring a larger relative EER decrease of around 4.69%.

研究动机与目标

• 为解决在说话人人口、信道和环境变化等数据不匹配条件下，说话人验证系统面临的泛化挑战。
• 提升DNN x-vector系统在未见或域外数据上评估时的鲁棒性。
• 探究贝叶斯神经网络（BNNs）是否能增强模型不确定性估计，并提升说话人验证中的决策可靠性。
• 评估BNN在域内和域外评估场景下的有效性。
• 探索确定性与贝叶斯x-vector系统融合以实现进一步性能提升的潜力。

提出的方法

• 将x-vector提取器中的标准确定性TDNN层替换为贝叶斯神经网络（BNN）层，通过变分推断建模参数不确定性。
• 利用网络权重的后验分布，减少在未见数据上的过拟合，提升泛化能力。
• 在推理过程中应用随机权重平均和蒙特卡洛Dropout，以估计预测不确定性。
• 将基于BNN的说话人嵌入与传统的余弦和PLDA评分后端结合用于验证。
• 通过融合确定性DNN x-vector与贝叶斯x-vector系统，结合二者互补优势。
• 使用变分推断目标函数训练BNN，该函数在似然与KL散度之间取得平衡，以正则化后验分布。

实验结果

研究问题

• RQ1 贝叶斯神经网络能否在数据分布不匹配条件下提升DNN x-vector系统的泛化能力？
• RQ2 BNN中不确定性建模对短时长和长时长说话人验证任务的性能有何影响？
• RQ3 与域内评估相比，贝叶斯x-vector系统在域外评估中是否表现出更大的性能提升？
• RQ4 确定性与贝叶斯x-vector系统的融合能否实现进一步的性能增益？
• RQ5 BNN中的不确定性建模是否有助于缓解对信道和说话人特异性特征的过拟合？

主要发现

• 贝叶斯x-vector系统在短时长域内评估中实现了2.66%的相对EER降低，在长时长评估中为2.32%。
• DNN x-vector与贝叶斯x-vector系统融合后进一步提升了性能，在短时长样本中实现7.24%的相对EER降低，在长时长样本中为3.08%。
• 在域外评估中（VoxCeleb1训练，NIST SRE10测试），贝叶斯系统平均将EER降低了4.69%，融合系统则降低了6.53%。
• 域外性能提升大于域内，表明贝叶斯学习在高数据不匹配条件下尤为有益。
• 检测错误权衡（DET）曲线在所有工作点上均显示一致的性能增益，涵盖域内与域外设置。
• 结果在余弦和PLDA评分后端上均保持一致，验证了贝叶斯方法的鲁棒性。