[论文解读] Long-span language modeling for speech recognition

Sarangarajan Parthasarathy, William A. Gale+3 more|arXiv (Cornell University)|Nov 11, 2019

Speech Recognition and Synthesis参考文献 23被引用 8

一句话总结

本文提出在段落级文本上训练神经语言模型（LSTM、Transformer及LSTM-attention混合模型），通过利用单个句子之外的长距离上下文，提升语音识别性能。结果表明，通过连续段落序列进行训练可将困惑度降低约20%，并在第二轮重排序中实现4–9%的相对WER降低，无需修改网络结构即可隐式捕捉跨句依赖关系。

ABSTRACT

We explore neural language modeling for speech recognition where the context spans multiple sentences. Rather than encode history beyond the current sentence using a cache of words or document-level features, we focus our study on the ability of LSTM and Transformer language models to implicitly learn to carry over context across sentence boundaries. We introduce a new architecture that incorporates an attention mechanism into LSTM to combine the benefits of recurrent and attention architectures. We conduct language modeling and speech recognition experiments on the publicly available LibriSpeech corpus. We show that conventional training on a paragraph-level corpus results in significant reductions in perplexity compared to training on a sentence-level corpus. We also describe speech recognition experiments using long-span language models in second-pass re-ranking, and provide insights into the ability of such models to take advantage of context beyond the current sentence.

研究动机与目标

• 探究神经语言模型是否能在训练数据为段落级文本时，隐式学习并利用跨句边界的长距离上下文。
• 评估段落级训练在标准神经语言模型架构（LSTM、Transformer及LSTM-attention变体）上的有效性。
• 确定此类模型是否能在不进行显式网络结构修改或外部上下文注入的情况下，降低困惑度与词错误率（WER）。
• 比较在语言建模与语音识别任务中，句子级与段落级语言建模的性能差异。

提出的方法

• 通过使用句末分隔符连接句子，将标准LSTM、Transformer及新型LSTM-attention模型在段落级语料上进行训练。
• 在训练过程中使用噪声对比估计（NCE）损失，以实现高效的自归一化概率估计推理。
• 在LSTM隐藏状态上应用多头点积注意力机制，以增强长序列的上下文表征能力。
• 在Transformer模型中引入相对位置嵌入，以提升长序列中的位置感知能力。
• 在语音识别中采用n-best假设进行第二轮重排序，分别使用句子级与段落级语言模型进行评分。
• 通过交叉熵与WER指标计算困惑度与WER，将参考转录文本加入n-best列表中，以隔离上下文影响。

实验结果

研究问题

• RQ1 当在段落级文本上进行训练时，神经语言模型是否能隐式学习并利用跨越多个句子的上下文？
• RQ2 与句子级训练相比，段落级语言建模在语音识别中的困惑度与词错误率（WER）有何影响？
• RQ3 不同架构（LSTM、Transformer、LSTM-attention）在语言建模与自动语音识别中从长距离上下文中受益的程度如何？
• RQ4 在无搜索错误的情况下，使用段落级上下文进行重排序是否能显著降低WER？

主要发现

• 与句子级训练相比，段落级语言建模在所有模型架构上均使困惑度降低约20%。
• LSTM-attention模型在重排序中实现了最高的WER降低，当使用段落上下文时，在dev-other集上实现了9%的相对改进。
• 在dev-clean集上，LSTM-para模型在可利用前一句上下文时，将WER从5.68降低至4.79，表明其具备强大的长距离依赖学习能力。
• 即使未进行显式上下文注入，段落级模型在WER上仍优于句子级模型，证明仅通过训练数据结构即可隐式学习长距离上下文。
• 结果表明，仅通过段落级数据重新组织即可在不修改网络架构的情况下显著提升性能。