[论文解读] Structured Language Modeling for Speech Recognition

Ciprian Chelba, Frederick Jelinek|ArXiv.org|Jan 25, 2000

Natural Language Processing Techniques参考文献 4被引用 24

一句话总结

本文提出一种结构化语言模型（SLM），通过基于词、词性标注和句法操作预测的概率框架，联合建模词序列及其句法解析树。通过将SLM与三元语法语言模型进行线性插值，该方法在WSJ测试集上实现了16%的相对困惑度降低和10%的相对WER提升，证明了通过引入结构化语言知识可显著提升语音识别性能。

ABSTRACT

A new language model for speech recognition is presented. The model develops hidden hierarchical syntactic-like structure incrementally and uses it to extract meaningful information from the word history, thus complementing the locality of currently used trigram models. The structured language model (SLM) and its performance in a two-pass speech recognizer --- lattice decoding --- are presented. Experiments on the WSJ corpus show an improvement in both perplexity (PPL) and word error rate (WER) over conventional trigram models.

研究动机与目标

• 解决传统n-gram语言模型在语音识别中捕捉句法结构和长距离依赖关系方面的局限性。
• 开发一种概率模型，联合为词序列及其完整的二叉解析树分配概率，整合短语核心词和非终结符标签。
• 通过将结构化语言知识融入语言建模，特别是在解码和重打分中，提升语音识别性能。
• 证明SLM与标准三元语法模型具有互补性，尤其在插值时可带来可测量的困惑度和词错误率降低。

提出的方法

• 使用每个位置k处的词、词性标注和句法操作的因子分解，对词序列W及其解析树T的联合概率P(W,T)进行建模。
• 通过删除插值法估计三个关键概率：词预测P(w_k|history)、词性标注预测P(t_k|w_k, history)和句法操作预测P(p_i^k|history)，其中history包含已暴露的核心词。
• 采用同步多栈搜索算法，高效剪枝指数级增长的解析空间（k个词前缀对应O(2^k)种解析），实现可处理的解码。
• 使用带有语言模型重打分的N-best EM算法重新估计模型参数，在保持概率归一化的同时最大化训练数据的似然。
• 通过线性插值将SLM与基线三元语法模型结合（P = λ·P_trigram + (1−λ)·P_SLM），其中λ在验证集上进行调优。
• 在语言模型解码中采用A*算法，利用基于n-gram估计的前瞻函数引导搜索，高效地保持语言结构。

实验结果

研究问题

• RQ1 与标准n-gram模型相比，能够联合建模词和句法解析的结构化语言模型是否能提升语音识别性能？
• RQ2 通过核心词和非终结符标签建模引入句法结构，对语音识别中的困惑度和词错误率有何影响？
• RQ3 SLM与三元语法模型在插值时的互补程度如何？最优插值权重是多少？
• RQ4 尽管训练数据少于基线三元语法模型，SLM是否能在语言模型重打分中实现显著的WER改进？
• RQ5 在具有大状态空间的结构化语言模型中，基于前瞻的A*解码策略在语言模型解码中的有效性如何？

主要发现

• 在WSJ0测试集上，SLM与三元语法模型插值后（λ=0.4），实现了16%的相对困惑度降低（PPL 109 vs. 130），表现出显著的性能提升。
• 在语言模型重打分中，SLM相比基线三元语法模型将词错误率降低了1%（10%相对），经符号检验p值为0.0008，具有统计显著性。
• 在HUB1测试集上，经过一次参数重估计迭代后，SLM实现了10%的相对困惑度降低（PPL 136 vs. 152），即使仅使用2000万词的训练数据。
• 尽管训练数据仅为基线三元语法模型（4000万词）的一半，SLM在语言模型重打分中仍实现了0.7%的绝对WER改进（13.7%降至13.0%），表现出强大的数据效率。
• SLM的性能在参数重估计后得到提升，困惑度从144降至133（插值后），但主要增益来自与三元语法模型的插值。
• 使用SLM进行10-best列表重打分，实现了9.9%的WER，表明在受限解码场景下仍具有强大性能。