[论文解读] Expoiting Syntactic Structure for Language Modeling

Ciprian Chelba, Frederick Jelinek|ArXiv.org|Nov 12, 1998

Natural Language Processing Techniques参考文献 5被引用 123

一句话总结

本文提出一种自左向右、基于成分的语言模型，通过逐步构建句法解析结构来捕捉长距离依赖关系，相较于标准的三元语法模型，通过引入带词头标注的二叉解析树，实现了性能提升。该模型通过参数重估与三元语法模型插值，将测试困惑度降至158.28（相对降低11%），证明了句法结构在语言建模中的价值。

ABSTRACT

The paper presents a language model that develops syntactic structure and uses it to extract meaningful information from the word history, thus enabling the use of long distance dependencies. The model assigns probability to every joint sequence of words--binary-parse-structure with headword annotation and operates in a left-to-right manner --- therefore usable for automatic speech recognition. The model, its probabilistic parameterization, and a set of experiments meant to evaluate its predictive power are presented; an improvement over standard trigram modeling is achieved.

研究动机与目标

• 开发一种利用句法结构建模长距离依赖的语言模型，超越n-gram模型的范围。
• 实现自左向右的处理方式，以兼容自动语音识别与词网解码。
• 构建一种因子化模型，联合估计词与句法结构的概率，克服先前方法在计算成本上的限制。
• 利用宾州树库数据集，在语音识别任务中评估该模型的预测能力。

提出的方法

• 该模型自左向右逐步构建带词头标注的二叉解析树，将暴露的词头作为下一词的预测依据。
• 采用三模块流水线：WORD-PREDICTOR、TAGGER 和 PARSER，通过生成转移动作（单子、左附着、右附着）来扩展解析结构。
• PARSER 模块根据最近暴露的词头选择转移动作，确保生成所有有效的带词头与非终结符标签分配的二叉解析结构。
• 模型采用因子化方法参数化，联合建模词序列及其句法结构，实现联合概率估计。
• 非二叉成分通过基于非终结符标签的固定规则进行二叉化，中间节点使用带撇号的变体进行标记。
• 在100万词的训练数据上进行参数重估，使用对数概率阈值与栈深度控制，随后与三元语法模型进行插值。

实验结果

研究问题

• RQ1 句法结构能否有效用于语言建模中，以捕捉n-gram模型无法覆盖的长距离依赖？
• RQ2 自左向右的增量解析策略是否能在保持与语音识别系统兼容的同时提升语言模型性能？
• RQ3 因子化模型能否在不带来过高计算成本的前提下，联合估计词与句法结构的概率？
• RQ4 与标准n-gram模型相比，引入句法结构如何影响困惑度？
• RQ5 参数重估与插值是否能进一步提升模型在未见测试数据上的性能？

主要发现

• 经过三次参数重估迭代后，模型在测试集上的困惑度达到158.28，显著优于基线三元语法模型的167.14困惑度。
• 与三元语法模型进行线性插值，权重λ=0.36时，测试困惑度降至148.90，实现11%的相对降低。
• 开发集困惑度（21.26）显著低于测试集（158.28），表明训练数据提供了较强的初始参数化。
• 该模型的自左向右解析机制支持词网解码，适合集成到自动语音识别系统中。
• 即使在仅100万词的有限语料上进行参数重估，仍取得了可测量的性能提升，表明该模型具备在更大规模训练中进一步优化的潜力。
• 通过暴露的词头与句法结构过滤机制，有效捕捉了长距离依赖，例如基于'ended'预测'after'，而不仅依赖近期词汇。