[论文解读] Joint Probabilistic Linear Discriminant Analysis

Luciana Ferrer|arXiv (Cornell University)|Apr 7, 2017

Speech Recognition and Synthesis参考文献 4被引用 7

一句话总结

本文提出联合概率线性判别分析（J-PLDA），一种广义的PLDA模型，将说话人内部可变性建模为依赖于离散干扰变量（如信道、语言或语音风格）的模型，而非假设样本间独立。通过在评分时对未知信道身份进行边缘化，该模型在无需测试时提供信道标签的情况下，提升了对同信道与不同信道样本对比的鲁棒性。

ABSTRACT

Standard probabilistic linear discriminant analysis (PLDA) for speaker recognition assumes that the sample's features (usually, i-vectors) are given by a sum of three terms: a term that depends on the speaker identity, a term that models the within-speaker variability and is assumed independent across samples, and a final term that models any remaining variability and is also independent across samples. In this work, we propose a generalization of this model where the within-speaker variability is not necessarily assumed independent across samples but dependent on another discrete variable. This variable, which we call the channel variable as in the standard PLDA approach, could be, for example, a discrete category for the channel characteristics, the language spoken by the speaker, the type of speech in the sample (conversational, monologue, read), etc. The value of this variable is assumed to be known during training but not during testing. Scoring is performed, as in standard PLDA, by computing a likelihood ratio between the null hypothesis that the two sides of a trial belong to the same speaker versus the alternative hypothesis that the two sides belong to different speakers. The two likelihoods are computed by marginalizing over two hypothesis about the channels in both sides of a trial: that they are the same and that they are different. This way, we expect that the new model will be better at coping with same-channel versus different-channel trials than standard PLDA, since knowledge about the channel (or language, or speech style) is used during training and implicitly considered during scoring.

研究动机与目标

• 为解决标准PLDA假设样本间说话人内部可变性独立的局限性，通过引入信道、语言或语音风格等离散干扰变量，建立其依赖关系。
• 开发一种训练与评分框架，在训练时利用已知的干扰变量标签，但在测试时对这些标签进行边缘化。
• 通过在潜在空间中显式建模这些因素，提升在信道条件变化、语言差异或语音风格不同时的说话人识别性能。
• 将PLDA推广至任何在训练阶段可离散识别干扰可变性的任务，而不仅限于说话人识别。

提出的方法

• 模型将i-vector表示重新定义为 $ m_i = Vy_{s_i} + Ux_{c_i} + z_i $，其中 $ x_{c_i} $ 在具有相同信道标签 $ c_i $ 的样本间共享，而非在样本间独立同分布。
• 说话人与信道因子的联合先验建模为 $ p(Y,X) \propto \exp(-\frac{1}{2}\sum_s y_s^T y_s - \frac{1}{2}\sum_c x_c^T x_c) $，假设为标准正态先验。
• 通过期望最大化（EM）算法进行训练，对所有样本计算完整似然，以考虑由共享信道因子引入的依赖关系。
• 评分使用边缘化两个假设的似然比（LR）：同信道（$ H_{SS} $）与不同信道（$ H_{DS} $），通过未知信道身份的边缘化计算得出。
• 通过数据导出的充分统计量与精度矩阵，计算说话人变量的外后验，对数似然比具有闭式表达。
• 通过多变量正态近似计算信道变量的内后验，利用变换后的数据与结构化精度矩阵处理依赖结构。

实验结果

研究问题

• RQ1 将信道可变性建模为样本间的依赖关系，是否能相比标准PLDA中独立信道因子的设定，提升说话人识别性能？
• RQ2 当离散干扰变量（如信道或语言）在训练时已知但测试时未知时，如何训练并评分广义PLDA模型？
• RQ3 在评分时对未知信道身份进行边缘化，对似然比估计的鲁棒性有何影响？
• RQ4 联合建模说话人与信道因子，如何影响潜在空间中说话人特异与信道特异分量的估计？

主要发现

• 所提出的J-PLDA模型通过在样本间显式建模信道因子的依赖关系，提升了对信道可变性的鲁棒性，从而更好地处理同信道与不同信道样本的对比。
• 该模型在评分时可对未知信道身份进行边缘化，无需测试时提供信道标签，同时仍能利用训练阶段学习到的信道信息。
• 推导过程提供了对数似然比（LLR）的闭式表达，其分解为说话人变量的外后验与信道变量的内后验。
• 该方法将标准PLDA推广至任何在训练阶段可离散识别干扰变量的任务，如多语言说话人识别或基于麦克风类型的语言识别。
• 该框架支持使用EM算法与高斯边缘化实现高效训练与评分，关键组件如潜在变量后验具有解析解。
• 该方法不仅适用于说话人识别，还可扩展至图像中的人体识别等任务，或任何可离散分类干扰可变性的场景。