[论文解读] HMM Specialization with Selective Lexicalization

Jin-Dong Kim, Sang-Zoo Lee+1 more|ArXiv.org|Dec 23, 1999

Natural Language Processing Techniques参考文献 6被引用 9

一句话总结

本文提出通过选择性词汇化对HMM进行专业化改进，其中识别出不常见的句法词并为其分配HMM中的专用状态，以提升词性标注性能。通过分析转移分布并选择性地对罕见词进行词汇化，该方法在布朗语料库上实现了0.21%的准确率提升（95%置信水平），证明了其在建模词汇不规则性方面的有效性。

ABSTRACT

We present a technique which complements Hidden Markov Models by incorporating some lexicalized states representing syntactically uncommon words. Our approach examines the distribution of transitions, selects the uncommon words, and makes lexicalized states for the words. We performed a part-of-speech tagging experiment on the Brown corpus to evaluate the resultant language model and discovered that this technique improved the tagging accuracy by 0.21% at the 95% level of confidence.

研究动机与目标

• 通过解决建模句法不常见词的局限性，提升隐马尔可夫模型（HMM）在词性标注中的性能。
• 开发一种选择性地为罕见词引入词汇化状态的方法，避免过拟合或过度增加模型复杂度。
• 评估针对罕见词进行目标性词汇化是否能带来可测量的准确率提升。
• 提供一种系统化技术，基于转移分布分析识别并整合词汇化状态。

提出的方法

• 该方法分析HMM中转移分布，以识别出具有异常或不常见句法行为的词。
• 将转移频率较低或与典型模式差异较大的词选为词汇化的候选词。
• 为选定的罕见词在HMM中引入专用的词汇化状态，使其能够被独立建模。
• 使用标准的词性标注协议，在布朗语料库上对生成的专用HMM进行训练与评估。
• 选择过程确保仅最具有信息量的罕见词被词汇化，从而保持模型效率。
• 该方法在保持HMM概率结构的同时，增强了其捕捉词汇不规则性能力。

实验结果

研究问题

• RQ1 选择性地对不常见的句法词进行词汇化，能否提升基于HMM的词性标注准确率？
• RQ2 基于转移分布模式，哪些词最适合作为词汇化对象？
• RQ3 为罕见词引入词汇化状态是否能带来统计上显著的性能提升？
• RQ4 与标准HMM相比，该方法在词性标注准确率和模型复杂度方面表现如何？

主要发现

• 所提出的HMM专业化方法结合选择性词汇化，在布朗语料库上将词性标注准确率提升了0.21%。
• 该提升在95%置信水平下具有统计显著性，验证了该方法的有效性。
• 该技术成功针对具有异常句法行为的罕见词，提升了其建模精度。
• 通过仅对最具信息量的罕见词进行词汇化，该方法保持了模型效率。
• 结果表明，选择性词汇化可在不导致参数过度增长的前提下增强HMM性能。