[论文解读] First-Pass Large Vocabulary Continuous Speech Recognition using Bi-Directional Recurrent DNNs

Awni Hannun, Andrew L. Maas+2 more|arXiv (Cornell University)|Aug 12, 2014

Speech Recognition and Synthesis参考文献 8被引用 156

一句话总结

本论文提出了一种使用双向循环深度神经网络（BRDNNs）和联结主义时间分类（CTC）损失的首次通过大词汇量连续语音识别系统，实现了无需依赖HMM结构的语音语言模型端到端解码。该方法仅使用神经网络和n-gram语言模型，就在Wall Street Journal语料库上实现了14.1%的词错误率（WER），表明双向循环结构相比单向或非循环模型能显著提升性能。

ABSTRACT

We present a method to perform first-pass large vocabulary continuous speech recognition using only a neural network and language model. Deep neural network acoustic models are now commonplace in HMM-based speech recognition systems, but building such systems is a complex, domain-specific task. Recent work demonstrated the feasibility of discarding the HMM sequence modeling framework by directly predicting transcript text from audio. This paper extends this approach in two ways. First, we demonstrate that a straightforward recurrent neural network architecture can achieve a high level of accuracy. Second, we propose and evaluate a modified prefix-search decoding algorithm. This approach to decoding enables first-pass speech recognition with a language model, completely unaided by the cumbersome infrastructure of HMM-based systems. Experiments on the Wall Street Journal corpus demonstrate fairly competitive word error rates, and the importance of bi-directional network recurrence.

研究动机与目标

• 开发一种绕过传统大词汇量连续语音识别（LVCSR）中复杂HMM基础设施的首次通过语音识别系统。
• 评估循环神经网络，特别是双向RNN，是否能在基于CTC的端到端语音识别中提升序列建模性能。
• 设计并实现一种改进的前缀搜索解码算法，将语言模型直接集成到CTC训练的神经网络中，实现从零开始的完整解码。
• 证明仅依赖神经网络和语言模型即可实现具有竞争力的词错误率，而无需依赖n-best假设列表或HMM重打分。

提出的方法

• 系统使用双向循环深度神经网络（BRDNN）建模声学特征中的时间依赖性，并采用修正线性单元（ReLU）以缓解梯度消失问题。
• 网络采用联结主义时间分类（CTC）损失函数进行训练，该函数通过最大化正确转录序列在所有可能对齐中的似然性来优化模型。
• 提出一种改进的前缀搜索解码算法，将语言模型直接整合到解码过程中，从而在不生成HMM系统词典的情况下实现首次推理。
• 解码过程使用词典约束和二元语言模型来引导对可能词序列的搜索，从而提高词级准确率。
• 模型在Wall Street Journal（WSJ）语料库上进行训练和评估，使用字符级转录和声学特征。
• 在控制参数数量的前提下，对非循环DNN、单向RNN（RDNN）和双向RNN（BRDNN）模型的性能进行对比，以隔离架构影响。

实验结果

研究问题

• RQ1 仅使用神经网络和语言模型的首次通过语音识别系统是否能在不依赖HMM结构词典生成的情况下实现具有竞争力的词错误率？
• RQ2 在CTC训练的神经网络中使用双向循环连接是否相比单向或非循环架构能显著降低字符错误率和词错误率？
• RQ3 改进的前缀搜索解码算法是否能有效将语言模型先验整合到CTC解码过程中，从而提升词级准确率？
• RQ4 双向循环结构带来的性能提升是否足够显著，足以证明其在低延迟、在线语音识别系统中的使用价值？
• RQ5 与更复杂的LSTM模型相比，仅含密集连接和ReLU激活的更简单循环深度神经网络（RDNN）架构在基于CTC的语音识别中是否表现相当？

主要发现

• BRDNN模型在测试集上达到10.7%的字符错误率（CER），显著优于非循环DNN（22.3%）和单向RNN（13.5%），证明了双向上下文信息的重要性。
• 在使用二元语言模型的情况下，系统在WSJ语料库上实现了14.1%的词错误率（WER），表明结合语言模型的首次通过解码是可行且有效的。
• 与无语言模型的基线相比（35.8%降至14.1%），语言模型的应用使WER降低了10.7个百分点，凸显了语言先验在词级准确率中的关键作用。
• 即使参数量更少（2090万 vs. 2200万），BRDNN仍优于单向RNN，表明架构设计而非参数数量是性能提升的关键因素。
• 在无语言模型时CER为10.0%，加入二元语言模型后降至5.7%，表明在应用词级约束后，字符级正确率显著提升。
• 结果表明，循环连接，尤其是双向结构，对高性能至关重要，因为非循环和单向模型的性能显著偏低。