[论文解读] Word Clustering and Disambiguation Based on Co-occurrence Data

Hang Li, Naoki Abe|arXiv (Cornell University)|Jul 17, 1998

Natural Language Processing Techniques被引用 6

一句话总结

本文提出一种基于最小描述长度（MDL）的算法，利用共现数据对词语进行聚类，以构建自动同义词词典，随后将其与消歧方法结合，以提升句法歧义消解性能。该方法实现了85.2%的消歧准确率，优于当前最先进方法的82.4%。

ABSTRACT

We address the problem of clustering words (or constructing a thesaurus) based on co-occurrence data, and using the acquired word classes to improve the accuracy of syntactic disambiguation. We view this problem as that of estimating a joint probability distribution specifying the joint probabilities of word pairs, such as noun verb pairs. We propose an efficient algorithm based on the Minimum Description Length (MDL) principle for estimating such a probability distribution. Our method is a natural extension of those proposed in (Brown et al 92) and (Li & Abe 96), and overcomes their drawbacks while retaining their advantages. We then combined this clustering method with the disambiguation method of (Li & Abe 95) to derive a disambiguation method that makes use of both automatically constructed thesauruses and a hand-made thesaurus. The overall disambiguation accuracy achieved by our method is 85.2%, which compares favorably against the accuracy (82.4%) obtained by the state-of-the-art disambiguation method of (Brill & Resnik 94).

研究动机与目标

• 为解决从大规模文本语料中的词语共现数据自动构建同义词词典的挑战。
• 通过利用自动推导的词语类别，提升句法消歧的准确率。
• 克服先前方法（Brown et al. 1992；Li & Abe 1996）的局限性，同时保留其优势。
• 将自动学习的同义词词典与人工构建的同义词词典相结合，以提升消歧性能。
• 开发一种可扩展的、数据驱动的词语聚类与消歧方法，基于概率建模。

提出的方法

• 使用最小描述长度（MDL）原则来估计词语对（如名词-动词对）的联合概率分布。
• 应用MDL对词语进行聚类，基于共现模式，以最小化数据与模型的描述长度。
• 在先前工作（Brown et al. 1992；Li & Abe 1996）基础上，提升聚类效率与鲁棒性。
• 将所得词语聚类与Li & Abe（1995）的消歧模型结合，以提升准确率。
• 在消歧过程中整合自动构建的同义词词典与人工制作的同义词词典。
• 采用概率框架，通过建模词语共现频率来指导聚类与消歧。

实验结果

研究问题

• RQ1 基于共现数据的词语聚类能否在无需人工标注的情况下有效建模语义相似性？
• RQ2 与先前方法相比，基于MDL的聚类方法在聚类质量与可扩展性方面表现如何？
• RQ3 自动推导的词语类别在多大程度上能提升句法消歧的准确率？
• RQ4 将自动与人工同义词词典结合，是否能获得优于单一来源的消歧效果？
• RQ5 基于共现的词语聚类对消歧性能的定量影响是什么？

主要发现

• 所提出的基于MDL的聚类方法成功地从共现数据中构建了无需人工标注的词语同义词词典。
• 将自动学习的词语类别与消歧模型结合后，准确率提升至85.2%。
• 该性能优于Brill & Resnik（1994）提出的最先进方法所达到的82.4%准确率。
• 该方法通过MDL平衡模型复杂度与数据拟合，克服了先前方法的局限性。
• 同时使用自动与人工同义词词典，相比仅依赖单一来源，能实现更稳健的消歧效果。
• 该算法在通过共现统计建模词语关系方面，展现出良好的可扩展性与有效性。