[论文解读] LIA system description for NIST SRE 2016

Mickaël Rouvier, Pierre-Michel Bousquet+4 more|arXiv (Cornell University)|Dec 15, 2016

Speech Recognition and Synthesis参考文献 4被引用 5

一句话总结

本论文介绍了LIA系统在2016年NIST说话人识别评估中的应用，该系统基于i-vector/PLDA框架，结合了八个子系统，涵盖多种前端特征（MFCC、PLP）、i-vector提取方法（UBM、DNN、双特征后验概率）以及数据偏移技术（IDVC、均值偏移）。其主要贡献在于对这些子系统的评分级融合，使普通话男性语音集的最小主成本（minC）达到0.224，等错误率（EER）为5.39%，优于各个独立子系统。

ABSTRACT

This paper describes the LIA speaker recognition system developed for the Speaker Recognition Evaluation (SRE) campaign. Eight sub-systems are developed, all based on a state-of-the-art approach: i-vector/PLDA which represents the mainstream technique in text-independent speaker recognition. These sub-systems differ: on the acoustic feature extraction front-end (MFCC, PLP), at the i-vector extraction stage (UBM, DNN or two-feats posteriors) and finally on the data-shifting (IDVC, mean-shifting). The submitted system is a fusion at the score-level of these eight sub-systems.

研究动机与目标

• 为2016年NIST SRE评估开发一个在语言和信道不匹配挑战下仍具鲁棒性的说话人识别系统。
• 研究不同声学前端（MFCC、PLP）、i-vector提取方法（UBM、DNN、双特征后验概率）以及数据偏移技术（IDVC、均值偏移）对系统性能的影响。
• 通过多个i-vector子系统的评分级融合提升识别准确率。
• 在多种语言和性别条件下，针对主指标（minC主成本）进行系统优化。

提出的方法

• 使用Kaldi工具包提取声学特征（MFCC和PLP），生成60维向量，包含倒谱系数及其一阶和二阶差分。
• 采用11帧共识窗口的对数能量阈值法进行语音活动检测（VAD），以去除静音和低能量段。
• 使用三种方法提取i-vector：基于UBM的GMM、基于DNN后验概率（4个隐藏层，每层1024个神经元），以及结合MFCC和PLP流的双特征后验概率。
• i-vector归一化通过LW归一化（白化与长度归一化）实现，随后进行后PLDA归一化，以对角化类间与类内协方差矩阵。
• 应用两种数据偏移技术——跨数据集可变性补偿（IDVC）与均值偏移，以缓解训练集与开发集之间的语言不匹配问题。
• 使用非经典PLDA模型进行PLDA评分，最终得分在完成所有子系统得分的完整归一化与融合后生成。

实验结果

研究问题

• RQ1 在i-vector/PLDA框架下，不同声学前端（MFCC与PLP）如何影响说话人识别性能？
• RQ2 与传统UBM相比，使用基于DNN的后验概率或双特征后验概率进行i-vector提取能带来多大性能提升？
• RQ3 IDVC与均值偏移等数据偏移技术在多大程度上可减少因语言不匹配导致的性能下降？
• RQ4 对多个i-vector子系统的评分级融合在多大程度上能提升整体识别准确率？
• RQ5 在跨语言说话人识别中，为最大化minC主成本与EER，声学前端、后端及归一化技术的最佳组合是什么？

主要发现

• 融合系统（Fusion B）在普通话男性语音集上实现了0.224的minC主成本与5.39%的EER，为所有提交系统中的最佳表现。
• 使用MFCC、基于DNN的i-vector与均值偏移的子系统（系统6）在宿务语女性语音集上实现了最低EER（6.75%），表明其在非母语条件下的强鲁棒性。
• 八个子系统全部融合（Fusion B）将普通话男性语音集的EER降低至5.39%，男性+女性均衡集的EER降低至16.90%，表明在各类条件下均具稳定增益。
• 双特征i-vector方法（MFCC+PLP）在宿务语男性语音集（EER=22.77%）与普通话女性语音集（EER=15.24%）上表现最佳，凸显其鲁棒性提升。
• 后归一化步骤（对PLDA协方差矩阵进行对角化并应用额外的LW归一化）有助于提升泛化能力，并减少训练与测试数据之间的分布偏移。
• 整个系统总CPU时间为每语音段3.66秒，其中计算量最大的步骤是i-vector统计量计算（1.33秒），表明其具备高效的实时处理可行性。