[论文解读] Insights into End-to-End Learning Scheme for Language Identification

Weicheng Cai, Zexin Cai+3 more|arXiv (Cornell University)|Apr 2, 2018

Speech Recognition and Synthesis参考文献 31被引用 15

一句话总结

该论文提出了一种新颖的端到端语言识别学习方案，将卷积神经网络（CNN）前端与通用编码层相结合，从原始声学特征中联合学习话语级表征。该方法在NIST LRE07闭集任务上取得了最先进性能，CNN-LDE模型在30秒语音样本上达到1.13%的EER，与基于DNN PPP的系统性能相当，且显著优于传统的GMM i-vector方法。

ABSTRACT

A novel interpretable end-to-end learning scheme for language identification is proposed. It is in line with the classical GMM i-vector methods both theoretically and practically. In the end-to-end pipeline, a general encoding layer is employed on top of the front-end CNN, so that it can encode the variable-length input sequence into an utterance level vector automatically. After comparing with the state-of-the-art GMM i-vector methods, we give insights into CNN, and reveal its role and effect in the whole pipeline. We further introduce a general encoding layer, illustrating the reason why they might be appropriate for language identification. We elaborate on several typical encoding layers, including a temporal average pooling layer, a recurrent encoding layer and a novel learnable dictionary encoding layer. We conducted experiment on NIST LRE07 closed-set task, and the results show that our proposed end-to-end systems achieve state-of-the-art performance.

研究动机与目标

• 开发一种在理论上和实践上均兼容的端到端学习方案，用于语言识别，以复现经典GMM i-vector方法的优势。
• 研究CNN在将可变长度语音特征转换为高层表征中的作用与影响。
• 提出并评估一种通用编码层，作为统一组件，将时序特征聚合为话语级向量。
• 比较不同编码策略（TAP、RNN与可学习字典编码）在LID任务中的有效性。
• 证明仅使用声学级特征进行端到端训练，即可实现与使用复杂DNN提取特征的系统相当的性能。

提出的方法

• 采用前端卷积神经网络（CNN）从可变长度的Fbank特征中自动提取分层的、上下文感知的表征。
• 引入一种通用编码层，将CNN的输出映射为固定长度的话语级向量，替代传统的i-vector提取过程。
• 实现三种编码变体：时序平均池化（TAP）、门控循环单元（GRU）以及一种新颖的可学习字典编码（LDE）层。
• 使用交叉熵损失函数，通过随机梯度下降在90个周期内训练整个端到端系统，并在第60和第80个周期处应用学习率衰减。
• 通过在训练过程中随机裁剪或扩展语音样本至200至1000帧之间的长度，实施数据增强，以提升鲁棒性。
• 通过在不重新训练的情况下，将任意时长的测试语音样本（3秒、10秒、30秒）顺序输入网络，应用同一模型进行推理。

实验结果

研究问题

• RQ1 如何设计一种端到端神经网络架构，以复现经典GMM i-vector方法在语言识别中的理论与实践优势？
• RQ2 在LID背景下，CNN在从可变长度语音输入中学习判别性表征方面发挥何种功能作用？
• RQ3 为何某些编码层（如TAP、LDE）在LID中优于其他层（如RNN），尽管RNN具备建模长程依赖的能力？
• RQ4 仅使用原始声学特征（Fbank）训练的系统能否实现与使用DNN提取特征（如PPP或并联特征）的系统相当的性能？
• RQ5 测试语音样本的时长在多大程度上影响端到端LID模型的性能，特别是在训练数据时长范围有限的情况下？

主要发现

• CNN-LDE模型在30秒语音样本上达到0.96%的EER，优于表1中列出的所有传统GMM i-vector与DNN基系统。
• CNN-TAP模型在30秒语音样本上达到1.73%的EER，显著优于GMM i-vector基线（3.02% EER），并接近DNN PPP特征系统的性能（0.32% EER）。
• 尽管参数量更多，CNN-GRU与CNN-LSTM模型在长语音样本（30秒）上表现欠佳，EER下降至接近随机水平，表明存在‘语音长度诅咒’效应。
• 可学习字典编码（LDE）层展现出强大的泛化能力，在10秒语音样本上达到2.61%的EER，在30秒语音样本上达到1.13%的EER，与使用DNN PPP特征的系统（30秒时为0.61% EER）性能相当。
• TAP与LDE在RNN基编码器上的成功表明，对于LID任务，建模局部特征分布比保留时序结构更为关键。
• 即使未使用PPP或并联特征等DNN衍生特征，端到端系统仍能达到最先进性能，表明原始声学特征与合适的编码机制已足以实现高精度。