[论文解读] Investigation of Using VAE for i-Vector Speaker Verification

Timur Pekhovsky, Maxim Korenevsky|arXiv (Cornell University)|May 25, 2017

Speech Recognition and Synthesis参考文献 10被引用 5

一句话总结

本文提出一种基于变分自编码器（VAE）的说话人验证系统，采用i-vectors，证明VAE能够以无监督方式学习有效的说话人嵌入。尽管i-vectors接近高斯分布，但采用“软”$β$-VAE模式的VAE在性能上可与全协方差PLDA相媲美，在某些配置下甚至优于对角PLDA。

ABSTRACT

New system for i-vector speaker recognition based on variational autoencoder (VAE) is investigated. VAE is a promising approach for developing accurate deep nonlinear generative models of complex data. Experiments show that VAE provides speaker embedding and can be effectively trained in an unsupervised manner. LLR estimate for VAE is developed. Experiments on NIST SRE 2010 data demonstrate its correctness. Additionally, we show that the performance of VAE-based system in the i-vectors space is close to that of the diagonal PLDA. Several interesting results are also observed in the experiments with $β$-VAE. In particular, we found that for $β\ll 1$, VAE can be trained to capture the features of complex input data distributions in an effective way, which is hard to obtain in the standard VAE ($β=1$).

研究动机与目标

• 探究在i-vector空间中使用VAE作为验证后端进行说话人识别的可行性。
• 为基于VAE的说话人验证开发一种似然比（LLR）估计方法。
• 评估$β$-VAE是否能在标准VAE和对角PLDA之外提升建模能力。
• 在不同数据和架构条件下，评估VAE与传统PLDA模型的性能表现。

提出的方法

• 使用具有单个随机隐藏层的深层前馈VAE，结合确定性隐藏层以引入非线性。
• 模型采用对角精度矩阵和高斯先验，从而可在变分下界中解析计算KL散度。
• 通过随机梯度上升优化变分下界，利用重参数化技巧实现对随机节点的反向传播。
• 为基于VAE的验证推导出一种新颖的LLR估计方法，使与PLDA的比较成为可能。
• $β$-VAE变体通过修改目标函数来控制重建与潜在空间正则化之间的权衡。
• 在NIST SRE 2010和RusTelecom数据集上进行实验，采用经过PCA降维的i-vectors以及不同网络架构。

实验结果

研究问题

• RQ1 尽管i-vectors接近高斯分布，基于VAE的系统是否能有效建模i-vectors以实现说话人验证？
• RQ2 为基于VAE推导出的LLR估计是否能提供与PLDA相当的可靠性能？
• RQ3 在i-vector空间中，$β$-VAE（$β \ll 1$）是否能学习到比标准VAE（$β=1$）更复杂的数据分布？
• RQ4 在不同i-vector维度和网络配置下，VAE的性能与对角PLDA和全协方差PLDA相比如何？

主要发现

• 在NIST-2010语料库上，VAE系统在$K=1$时达到EER为3.22%、minDCF为0.417，EER表现优于对角PLDA（EER：3.13%，minDCF：0.433），但minDCF未占优。
• 在“软”$β$-VAE模式（$β=10^{-6}$）下，最佳配置（$D_x=400, D_d=100, D_h=50$）在NIST-2010上实现EER为3.98%、minDCF为0.497，表明其在泛化能力上优于标准VAE。
• 在更大的RusTelecom语料库上（$D_x=600$），'软' $β$-VAE实现EER为2.53%、minDCF为0.510，接近但未超越全协方差PLDA（EER：1.63%，minDCF：0.644）。
• 标准VAE（$β=1$）在所有配置下表现与对角PLDA相当，在NIST-2010上PCA=10时EER约为9.8–10.0%，但无法突破此平台。
• “软”$β$-VAE在$D_h=40$至$D_h=100$之间表现出性能极值，表明该范围为捕捉i-vector空间中复杂分布的最优容量。
• LLR估计对$K$（试验次数）的变化具有鲁棒性，表明在不同测试条件下性能稳定。