[论文解读] LSTM-LM with Long-Term History for First-Pass Decoding in Conversational Speech Recognition

Xie Chen, Sarangarajan Parthasarathy+3 more|arXiv (Cornell University)|Oct 21, 2020

Speech Recognition and Synthesis参考文献 28被引用 4

一句话总结

本文提出在使用WFST解码器进行对话式语音识别的首次解码过程中，将先前话语的长期上下文整合到LSTM语言模型（LSTM-LM）中。通过利用LSTM-LM在话语间保持隐藏状态的能力，该方法显著优于二次重打分，实现了4.3%的相对WER降低，相比仅使用话语级建模，全历史上下文下性能提升显著。

ABSTRACT

LSTM language models (LSTM-LMs) have been proven to be powerful and yielded significant performance improvements over count based n-gram LMs in modern speech recognition systems. Due to its infinite history states and computational load, most previous studies focus on applying LSTM-LMs in the second-pass for rescoring purpose. Recent work shows that it is feasible and computationally affordable to adopt the LSTM-LMs in the first-pass decoding within a dynamic (or tree based) decoder framework. In this work, the LSTM-LM is composed with a WFST decoder on-the-fly for the first-pass decoding. Furthermore, motivated by the long-term history nature of LSTM-LMs, the use of context beyond the current utterance is explored for the first-pass decoding in conversational speech recognition. The context information is captured by the hidden states of LSTM-LMs across utterance and can be used to guide the first-pass search effectively. The experimental results in our internal meeting transcription system show that significant performance improvements can be obtained by incorporating the contextual information with LSTM-LMs in the first-pass decoding, compared to applying the contextual information in the second-pass rescoring.

研究动机与目标

• 研究在对话式语音识别中，于首次解码阶段利用先前话语长期上下文的可行性与有效性。
• 克服n-gram语言模型仅建模短期历史、限制首次解码搜索空间的局限性。
• 探究LSTM-LM是否能在首次解码阶段有效利用跨话语上下文，而不仅限于二次重打分阶段。
• 比较在首次解码阶段与二次重打分阶段集成上下文的性能，重点关注WER与搜索空间质量。
• 评估参考转录与假设输出作为上下文的影响，以及句末标记在上下文建模中的作用。

提出的方法

• 本研究采用WFST解码器，在实时首次解码中集成LSTM-LM，实现带长期上下文的动态词网生成。
• LSTM-LM在话语级转录上进行训练，但通过在话语间保持隐藏状态来建模长期依赖关系。
• 通过将先前话语中LSTM-LM的隐藏状态输入当前解码过程，将先前话语的上下文整合进来。
• 该方法同时使用先前话语的参考转录与假设输出作为上下文，支持上下文质量的消融研究。
• 句末标记（<s>）可选择性地从上下文中排除，以评估其对建模连贯性的影响。
• 该方法将带LSTM-LM上下文的首次解码与使用相同n-best列表的二次重打分进行比较，确保性能评估的公平性。

实验结果

研究问题

• RQ1 LSTM-LM是否能在对话式语音识别的首次解码阶段有效利用先前话语的长期上下文？
• RQ2 在首次解码阶段整合跨话语上下文是否能获得比在二次重打分阶段应用相同上下文更低的WER？
• RQ3 上下文质量（参考转录 vs. 假设输出）如何影响LSTM-LM在首次解码中的性能？
• RQ4 为实现最大WER改进，应包含多少个先前话语作为上下文为最优？
• RQ5 在上下文中包含句末标记是否能提升或降低LSTM-LM在首次解码中的性能？

主要发现

• 在首次解码中使用完整参考历史，将WER降低至15.51%，相比无上下文的基线模型相对降低4.3%。
• 无论使用多少个先前话语，上下文带来的WER改进均保持一致，且在超过两个先前话语后收益微乎其微。
• 带上下文的首次解码相比二次重打分，绝对WER降低0.3–0.4%，表明n-gram语言模型的n-best列表过早剪枝了正确路径。
• 基于参考的上下文优于基于假设的上下文，但差距极小（低于1%相对），表明对识别错误具有鲁棒性。
• 从上下文中排除句末标记（<s>）带来轻微但一致的WER改善，表明边界标记可能干扰长期连贯性建模。
• LSTM-LM的困惑度（PPL）从无历史时的96.9降至4个先前话语时的81.4，证实了上下文的引入显著提升了语言建模效果。