[论文解读] Distinguishing Word Senses in Untagged Text

Ted Pedersen, Rebecca Bruce|ArXiv.org|Jun 9, 1997

Natural Language Processing Techniques参考文献 37被引用 129

一句话总结

本文评估了三种无监督学习算法——McQuitty的相似性分析、Ward的最小方差法以及EM算法——在使用自动提取特征的未标注文本中进行词义消歧的表现。研究发现，McQuitty方法配合高维特征集在准确率上表现最高，尤其在名词上优于形容词和动词，这得益于其对词义分布偏斜的更好处理能力。

ABSTRACT

This paper describes an experimental comparison of three unsupervised learning algorithms that distinguish the sense of an ambiguous word in untagged text. The methods described in this paper, McQuitty's similarity analysis, Ward's minimum-variance method, and the EM algorithm, assign each instance of an ambiguous word to a known sense definition based solely on the values of automatically identifiable features in text. These methods and feature sets are found to be more successful in disambiguating nouns rather than adjectives or verbs. Overall, the most accurate of these procedures is McQuitty's similarity analysis in combination with a high dimensional feature set.

研究动机与目标

• 通过消除对手动标注训练数据的依赖，解决词义消歧中的知识获取瓶颈。
• 评估仅基于从未标注文本中自动提取的特征来分配词义的无监督学习算法。
• 研究聚类与概率模型在无标注样本下区分词义的有效性。
• 比较不同词性之间的性能表现，特别评估名词、动词和形容词在消歧成功度上的差异。
• 识别无监督词义消歧中最有效的算法与特征集组合。

提出的方法

• 使用相异度矩阵表示词实例之间的特征差异，其中相异度为命名特征（词性、词形、共现性）中不匹配特征的数量。
• 应用McQuitty的相似性分析，一种凝聚聚类方法，基于匹配特征数量合并聚类，以最小化类间相异度。
• 采用Ward的最小方差法，通过最小化类内平方和来合并聚类，假设特征空间中的数据呈正态分布。
• 利用EM算法估计概率混合模型的参数，通过迭代优化聚类分配与模型参数。
• 构建包含词性标签、词形特征以及通过SVD提取的高维字母四元组共现向量的特征集。
• 使用每种算法对词实例进行聚类，随后人工为聚类分配词义标签，以与已知词义定义对比评估性能。

实验结果

研究问题

• RQ1 无监督学习算法是否能在无任何标注训练数据的情况下有效进行词义消歧？
• RQ2 McQuitty的相似性分析、Ward的最小方差法以及EM算法在词义消歧任务中的性能如何比较？
• RQ3 特征集的选择是否显著影响消歧准确率，特别是在使用高维表示时？
• RQ4 某些词性（名词、动词、形容词）是否比其他词性更易于进行无监督消歧？
• RQ5 词义分布的偏斜如何影响无监督学习算法在词义消歧中的表现？

主要发现

• McQuitty的相似性分析配合高维特征集在所测试的三种算法中取得了最高的消歧准确率。
• 所有三种算法的性能均受到高度偏斜的词义分布的负面影响，表明稀有词义面临挑战。
• 名词的消歧成功率高于形容词或动词，表明词性类型会影响消歧的成功度。
• 使用高维特征，特别是通过SVD提取的字母四元组共现向量，显著提升了消歧性能。
• EM算法虽具潜力，但并未超越McQuitty方法，尽管其基于概率模型进行参数估计。
• 在本研究的无监督WSD设置中，凝聚聚类方法（McQuitty与Ward）优于EM算法，尤其在给定的特征集上表现更优。