[论文解读] Graph based manifold regularized deep neural networks for automatic speech recognition

Vikrant Singh Tomar, Richard C. Rose|arXiv (Cornell University)|Jun 19, 2016

Speech Recognition and Synthesis参考文献 24被引用 4

一句话总结

本文提出流形正则化深度神经网络（MRDNNs），通过在训练过程中保持语音特征空间中的局部邻域关系，以提升自动语音识别（ASR）性能。通过将基于图的流形约束整合到DNN优化准则中，MRDNNs在Aurora-2数据集上实现了高达37%的相对词错误率（WER）降低，在Aurora-4上实现了高达14.43%的降低，表明隐藏层中特征紧凑性与鲁棒性得到提升。

ABSTRACT

Deep neural networks (DNNs) have been successfully applied to a wide variety of acoustic modeling tasks in recent years. These include the applications of DNNs either in a discriminative feature extraction or in a hybrid acoustic modeling scenario. Despite the rapid progress in this area, a number of challenges remain in training DNNs. This paper presents an effective way of training DNNs using a manifold learning based regularization framework. In this framework, the parameters of the network are optimized to preserve underlying manifold based relationships between speech feature vectors while minimizing a measure of loss between network outputs and targets. This is achieved by incorporating manifold based locality constraints in the objective criterion of DNNs. Empirical evidence is provided to demonstrate that training a network with manifold constraints preserves structural compactness in the hidden layers of the network. Manifold regularization is applied to train bottleneck DNNs for feature extraction in hidden Markov model (HMM) based speech recognition. The experiments in this work are conducted on the Aurora-2 spoken digits and the Aurora-4 read news large vocabulary continuous speech recognition tasks. The performance is measured in terms of word error rate (WER) on these tasks. It is shown that the manifold regularized DNNs result in up to 37% reduction in WER relative to standard DNNs.

研究动机与目标

• 为解决基于DNN的语音识别声学建模中过拟合与泛化能力差的挑战。
• 通过保留语音特征空间中的局部邻域结构，改进特征表示学习。
• 开发一种正则化框架，提升训练鲁棒性，且无需依赖预训练。
• 评估流形正则化对噪声和纯净语音识别场景中WER的影响。
• 研究仅在训练初期应用流形约束时的计算与性能权衡。

提出的方法

• 该方法基于从语音特征向量构建的图，形式化定义了流形正则化项，以编码局部邻域关系。
• 目标函数将标准DNN损失与一个流形正则化项结合，该正则化项惩罚隐藏层表示中对局部结构保持的偏离。
• 使用图拉普拉斯矩阵来建模流形结构，正则化项强制输入空间中相近的点在隐藏表示空间中也保持接近。
• 该方法应用于带有瓶颈层的串联DNN，用于GMM-HMM ASR系统中的判别性特征提取。
• 训练过程采用带有修改后目标函数的误差反向传播，收缩比用于量化特征映射中局部性保持的程度。
• 消融研究评估了仅在前10个周期应用流形约束，之后切换为标准反向传播的训练策略。

实验结果

研究问题

• RQ1 流形正则化是否能通过保留局部数据结构来改善DNN在自动语音识别中的泛化能力？
• RQ2 流形正则化在噪声和纯净语音识别任务中，能在多大程度上降低词错误率（WER）？
• RQ3 仅在训练初期应用流形约束，是否能获得与全程正则化相当的性能？
• RQ4 流形正则化如何影响反向传播过程中的梯度计算鲁棒性？
• RQ5 所提出的方法是否能在无需预训练或复杂架构的情况下，增强隐藏层的特征紧凑性？

主要发现

• 与标准DNN相比，MRDNNs在Aurora-2连贯数字识别任务中实现了高达37%的相对WER降低。
• 在Aurora-4大词汇量连续语音识别任务中，MRDNNs在纯净训练条件下将WER降低了14.43%，在混合噪声训练条件下降低了10%。
• MRDNN_10变体（仅在前10个周期应用流形正则化）在纯净Aurora-2上实现了0.39%的WER，相比标准DNN实现了31.5%的相对改进。
• 收缩比分析证实，MRDNNs在隐藏层表示中保持了语音特征向量之间的局部邻域关系。
• 流形正则化带来了更鲁棒的梯度估计，表明训练过程更加稳定。
• 该方法在多种噪声条件和数据集上均表现出一致的性能提升，表明其具备强大的泛化能力。