[论文解读] Morphological Disambiguation by Voting Constraints

Kemal Oflazer, Gökhan Tür|arXiv (Cornell University)|Apr 25, 1997

Natural Language Processing Techniques被引用 6

一句话总结

本文提出了一种基于约束的土耳其语词形消歧系统，通过各约束之间的投票机制选择每个词最可能的词形解析，且不受规则顺序影响。该方法在约500条规则和基本统计信息的基础上，使用Prolog实现，后续通过有限状态转换器进行探索，实现了每词约1.01个解析的94-95%精确率和95-96%召回率。

ABSTRACT

We present a constraint-based morphological disambiguation system in which individual constraints vote on matching morphological parses, and disambiguation of all the tokens in a sentence is performed at the end by selecting parses that receive the highest votes. This constraint application paradigm makes the outcome of the disambiguation independent of the rule sequence, and hence relieves the rule developer from worrying about potentially conflicting rule sequencing. Our results for disambiguating Turkish indicate that using about 500 constraint rules and some additional simple statistics, we can attain a recall of 95-96% and a precision of 94-95% with about 1.01 parses per token. Our system is implemented in Prolog and we are currently investigating an efficient implementation based on finite state transducers.

研究动机与目标

• 为解决土耳其语中词汇可能具有多种有效词形分析的词形歧义问题。
• 消除基于约束的消歧中对规则顺序的依赖，避免由此导致的结果不一致。
• 开发一种鲁棒的、与规则顺序无关的消歧系统，可有效扩展以实现高精度的词形分析。
• 在使用可管理数量的约束和统计增强手段的基础上，实现高精确率和高召回率的词形消歧。

提出的方法

• 每个词形约束为其认为有效的解析投票，所有约束的得票数累计计算。
• 系统整体评估句子中的所有词元，选择总票数最高的解析配置。
• 约束规则设计为相互独立且无序，确保处理顺序不影响结果的一致性。
• 系统采用基于Prolog的实现进行原型开发，并探索使用有限状态转换器以优化性能。
• 应用额外的统计特征，以在纯规则投票之外进一步提升消歧准确率。
• 消歧在句子层面进行，聚合所有词元的得票数，以选择全局最优的解析组合。

实验结果

研究问题

• RQ1 基于约束的词形消歧系统是否能在不依赖规则顺序的情况下实现高精确率和高召回率？
• RQ2 投票机制在大规模语料中对解决土耳其语的词形歧义有多有效？
• RQ3 少量手工构建的约束规则，结合基本统计方法，能在多大程度上实现高消歧准确率？
• RQ4 该系统能否在像土耳其语这样的屈折语中，对多样的词形结构保持一致的性能表现？

主要发现

• 该系统在土耳其语文本上实现了95-96%的召回率和94-95%的精确率，使用了约500条约束规则。
• 每词的平均解析数降低至1.01，表明消歧具有高准确率和高效率。
• 投票机制确保了消歧结果与约束应用顺序无关。
• Prolog实现成功验证了基于投票的消歧方法在词形消歧中的可行性。
• 作者指出，有限状态转换器是未来提升系统效率的有前景方向。