[论文解读] A Probabilistic Disambiguation Method Based on Psycholinguistic Principles

Hang Li|ArXiv.org|Jun 13, 1996

Natural Language Processing Techniques参考文献 32被引用 7

一句话总结

该论文提出了一种概率句法消歧方法，将心理语言学原则——词汇偏好规则（LPR）、右关联原则（RAP）和低附着与平行原则（ALPP）——整合进统计框架。该方法使用'三词概率'实现LPR，使用'长度概率'实现RAP/ALPP，并通过回退策略结合二者，在句法消歧任务中达到89.2%的准确率。

ABSTRACT

We address the problem of structural disambiguation in syntactic parsing. In psycholinguistics, a number of principles of disambiguation have been proposed, notably the Lexical Preference Rule (LPR), the Right Association Principle (RAP), and the Attach Low and Parallel Principle (ALPP) (an extension of RAP). We argue that in order to improve disambiguation results it is necessary to implement these principles on the basis of a probabilistic methodology. We define a `three-word probability' for implementing LPR, and a `length probability' for implementing RAP and ALPP. Furthermore, we adopt the `back-off' method to combine these two types of probabilities. Our experimental results indicate our method to be effective, attaining an accuracy of 89.2%.

研究动机与目标

• 通过在概率消歧框架中整合心理语言学原则，提升句法解析的准确性。
• 通过使用统计方法建模人类类似的解析偏好，解决句法解析中的结构歧义问题。
• 开发一个统一的概率模型，整合多种心理语言学启发式方法以提升消歧效果。
• 使用真实语料库数据，评估将认知解析原则整合进统计NLP模型的有效性。

提出的方法

• 引入'三词概率'作为词汇偏好规则（LPR）的统计实现，用于建模特定动词-论元结构的偏好。
• 定义'长度概率'以形式化右关联原则（RAP）和低附着与平行原则（ALPP），偏好较短的依附结构和平行的句法结构。
• 采用回退机制，在某一概率估计不可用或不可靠时，结合三词概率与长度概率。
• 使用第四届非常大规模语料库研讨会（WVLC-4）提供的大规模语料库进行训练与评估。
• 将概率模型应用于解析过程中句法结构的歧义消解。
• 通过在标注训练数据上使用最大似然估计优化模型，以确定概率参数。

实验结果

研究问题

• RQ1 心理语言学原则（如LPR、RAP和ALPP）能否在概率框架中被有效形式化，以用于句法消歧？
• RQ2 三词概率与长度概率的联合效应相较于基线方法，如何提升解析准确率？
• RQ3 当单一概率估计稀疏或不可靠时，回退策略在多大程度上提升了模型的鲁棒性？
• RQ4 将认知解析启发式方法整合进统计模型，能否在结构消歧准确率上带来可测量的提升？
• RQ5 在未见数据上的精确度与泛化能力方面，该方法与现有消歧技术相比表现如何？

主要发现

• 所提方法在WVLC-4语料库上实现了89.2%的消歧准确率，表现优异。
• 将心理语言学原则整合进概率模型，显著提升了相对于基线方法的解析准确率。
• 回退策略通过在三词概率不可用时回退至长度概率，有效缓解了数据稀疏性问题。
• 长度概率部分成功建模了RAP与ALPP，偏好与人类解析偏好一致的句法结构。
• 三词概率模型有效捕捉了词汇偏好，尤其对具有强烈论元结构偏好的动词表现突出。
• 该方法通过有原则地结合多种概率线索，展现出对歧义结构的良好鲁棒性。