[论文解读] Incorporating POS Tagging into Language Modeling

Peter A. Heeman, James F. Allen|ArXiv.org|May 22, 1997

Natural Language Processing Techniques参考文献 15被引用 14

一句话总结

本文提出了一种新颖的语言建模方法，在语音识别过程中联合预测词序列及其词性（POS）标签，将POS标签视为语言模型上下文的组成部分，而非中间工具。通过决策树对丰富上下文特征（包括先前的词及其POS标签）的概率分布进行建模，该方法在非正式语音数据上相较于三元语法词基模型实现了7.2%的困惑度降低，表明其在建模句法结构方面更具优势，从而提升了识别性能。

ABSTRACT

Language models for speech recognition tend to concentrate solely on recognizing the words that were spoken. In this paper, we redefine the speech recognition problem so that its goal is to find both the best sequence of words and their syntactic role (part-of-speech) in the utterance. This is a necessary first step towards tightening the interaction between speech recognition and natural language understanding.

研究动机与目标

• 为解决语音识别与自然语言理解之间交互有限的问题，通过重新定义识别任务，联合预测词及其句法角色。
• 通过将POS标签作为预测词序列上下文的一部分，而非视为辅助工具，提升语言建模的准确性。
• 探究将词身份视为POS标签的细化是否能带来更好的泛化能力与更低的困惑度，以提升非正式语音识别性能。
• 评估决策树在联合建模框架中学习POS与词预测最优上下文划分的效率。

提出的方法

• 将语音识别问题重新表述为：在给定声学信号的前提下，联合估计最可能的词序列与POS标签序列：$\hat{W}\hat{P} = \arg\max_{WP} \Pr(WP|A)$。
• 将联合概率$\Pr(W_{1,N}P_{1,N})$表示为条件概率的乘积：$\prod_{i=1}^{N} \Pr(W_iP_i|W_{1,i-1}P_{1,i-1})$。
• 将条件概率分解为$\Pr(W_i|W_{1,i-1}P_{1,i}) \cdot \Pr(P_i|W_{1,i-1}P_{1,i-1})$，将词身份视为POS标签上下文的细化。
• 使用基于信息论分裂准则的决策树，自动学习包含先前词及其POS标签在内的上下文等价类。
• 在树构建过程中采用复合问题与束搜索，以更准确估计复杂上下文上的概率分布。
• 应用回退与平滑技术以应对数据稀疏性问题，尤其在丰富、多维特征的上下文中。

实验结果

研究问题

• RQ1 与传统的词基n-gram模型相比，联合建模词与POS标签是否能改善语言模型的困惑度？
• RQ2 将词身份视为POS标签的细化是否比将其视为独立信息源具有更好的泛化能力？
• RQ3 决策树在非正式语音中学习POS与词预测最优上下文划分方面的有效性如何？
• RQ4 在决策树学习过程中使用复合问题与束搜索对模型性能的影响是什么？
• RQ5 通过POS标签引入句法结构在多大程度上能降低词错误率并提升对非正式语音现象的鲁棒性？

主要发现

• 所提出的基于POS的语言模型在非正式语音数据集Trains上，相较于三元语法词基回退模型，困惑度降低了7.2%，达到24.26（对比26.13）。
• 该模型在Trains数据集上的POS错误率降低至2.97%，表明句法标注准确性得到提升。
• 在决策树构建中使用复合问题相比非复合方法，使词困惑度降低4.7%，POS错误率降低2.3%。
• 在树构建过程中采用束搜索带来了可测量的性能提升，部分解释了复合问题带来的性能增益。
• 添加约束条件，要求在探测更早上下文前完整探索POS标签，可提升性能；而要求完整探索词身份则导致性能下降，表明词级细化的重要性低于POS级细化。
• 当扩展用于建模不流畅现象与语调短语时，模型进一步实现14%的困惑度降低（降至22.5），POS错误率降低9%，显示出与自然语言理解端到端集成的强劲潜力。