[论文解读] Feature Learning in Deep Neural Networks - Studies on Speech Recognition Tasks

Dong Yu, Michael L. Seltzer+3 more|arXiv (Cornell University)|Jan 16, 2013

Speech Recognition and Synthesis参考文献 17被引用 177

一句话总结

该论文表明，深度神经网络（DNNs）通过分层非线性变换学习到高度不变且具有判别性的特征，使其对输入中的微小变化（如说话人差异、噪声和带宽变化）具有鲁棒性。尽管未进行显式自适应，DNN-based ASR系统在Aurora 4基准测试中仍实现了最先进性能，优于依赖迭代自适应和归一化的复杂GMM-HMM系统。

ABSTRACT

Recent studies have shown that deep neural networks (DNNs) perform significantly better than shallow networks and Gaussian mixture models (GMMs) on large vocabulary speech recognition tasks. In this paper, we argue that the improved accuracy achieved by the DNNs is the result of their ability to extract discriminative internal representations that are robust to the many sources of variability in speech signals. We show that these representations become increasingly insensitive to small perturbations in the input with increasing network depth, which leads to better speech recognition performance with deeper networks. We also show that DNNs cannot extrapolate to test samples that are substantially different from the training examples. If the training data are sufficiently representative, however, internal features learned by the DNN are relatively stable with respect to speaker differences, bandwidth differences, and environment distortion. This enables DNN-based recognizers to perform as well or better than state-of-the-art systems based on GMMs or shallow networks without the need for explicit model adaptation or feature normalization.

研究动机与目标

• 研究深度神经网络（DNNs）如何学习语音识别中鲁棒的内部表征。
• 分析DNN在面对未见但相似的语音信号变化（如说话人差异、噪声和带宽变化）时的泛化能力。
• 评估DNN是否能够替代GMM系统中复杂的自适应技术（如VTLN、MLLR或VTS）。
• 确定当测试数据与训练数据显著不同时，DNN泛化的极限。
• 证明仅使用具有代表性的训练数据即可实现鲁棒性能，而无需显式模型自适应。

提出的方法

• 将DNN解释为一系列对数线性模型的堆叠，结合非线性特征变换与判别性分类。
• 采用包含7个隐藏层、每层2048个神经元的深层架构，通过逐层预训练结合反向传播进行判别性微调进行训练。
• 使用24维对数梅尔倒谱倒谱系数特征，结合动态倒谱系数，形成11帧上下文窗口的792维输入。
• 通过测量网络各层对小输入扰动的敏感性，评估特征不变性。
• 将DNN性能与多种GMM-HMM基线系统进行比较，包括使用MPE、NAT、VTS和MLLR进行自适应的系统。
• 在仅使用干净语音和仅使用宽带语音的训练设置下进行消融研究，以测试在严重分布偏移下的泛化极限。

实验结果

研究问题

• RQ1 深度神经网络如何学习对语音信号中小输入变化具有鲁棒性的内部表征？
• RQ2 DNN在多大程度上能泛化到与训练数据显著不同的测试样本？
• RQ3 DNN是否能在无需显式模型自适应或特征归一化的情况下实现语音识别任务的最先进性能？
• RQ4 网络深度如何影响所学习特征对输入扰动的不变性？
• RQ5 训练数据的代表性在多大程度上决定了DNN对说话人、噪声和带宽变化的泛化能力？

主要发现

• 更深的DNN学习到的特征对小输入扰动越来越不敏感，高层特征表示表现出更强的不变性。
• DNN系统在Aurora 4基准测试中实现了13.4%的平均词错误率（WER），与最佳报告结果相当，且无需多次解码或自适应。
• 仅在干净语音上训练的DNN在噪声和失真测试集上的性能下降至30.6%的平均WER，证实其无法外推至训练分布之外。
• 仅在宽带数据上训练的DNN无法识别窄带语音，表明其泛化能力仅限于小的分布偏移。
• 尽管缺乏显式自适应，DNN仍优于使用VTS、MLLR和NAT等复杂技术的GMM-HMM系统，仅通过一次前向传播即可实现相当或更优的性能。
• 当在多样化数据上训练时，DNN学习到说话人无关和抗噪声的特征，从而在无需说话人或环境自适应的情况下实现鲁棒性能。