[论文解读] Exemplar-Based Word Sense Disambiguation: Some Recent Improvements

Hwee Tou Ng|ArXiv.org|Jun 10, 1997

Natural Language Processing Techniques参考文献 23被引用 67

一句话总结

本文通过使用10折交叉验证自动选择最优的最近邻数（$k$），改进了基于事例的词义消歧方法，显著提升了准确率。所得分类器的性能与朴素贝叶斯算法相当——此前在七种最先进方法中表现最佳——表明当调优得当时，基于事例的学习在词义消歧任务中极为有效。

ABSTRACT

In this paper, we report recent improvements to the exemplar-based learning approach for word sense disambiguation that have achieved higher disambiguation accuracy. By using a larger value of $k$, the number of nearest neighbors to use for determining the class of a test example, and through 10-fold cross validation to automatically determine the best $k$, we have obtained improved disambiguation accuracy on a large sense-tagged corpus first used in \cite{ng96}. The accuracy achieved by our improved exemplar-based classifier is comparable to the accuracy on the same data set obtained by the Naive-Bayes algorithm, which was reported in \cite{mooney96} to have the highest disambiguation accuracy among seven state-of-the-art machine learning algorithms.

研究动机与目标

• 通过优化最近邻数（$k$）来提升基于事例的词义消歧方法的准确率。
• 评估基于事例的学习方法是否能与朴素贝叶斯算法性能相当或更优，后者此前在相同语料库上被报告为表现最佳的方法。
• 研究$k$对分类器性能的影响，特别是当$k=1$时性能不佳的情况。
• 证明通过交叉验证实现的自动超参数选择可显著提升基于事例的学习在WSD中的表现。

提出的方法

• 使用基于事例学习的算法Pebls，其通过基于特征值类条件概率的差异度量来计算事例间的距离。
• 两个事例之间的距离通过各特征距离之和计算，其中每个特征的距离为类条件概率绝对差值之和。
• 根据最小距离选择$k$个最近邻，并将其中多数类分配给测试事例。
• 在训练集上应用10折交叉验证程序，以自动确定使错误率最小的最优$k$值。
• 将优化后的Pebls分类器性能与朴素贝叶斯算法在Ng和Lee（1996）提供的大型标注词义语料库上进行比较。
• 避免特征剪枝以保留可能有用的搭配特征，因为先前的研究表明剪枝会降低准确率。

实验结果

研究问题

• RQ1 在基于事例的分类器中增加最近邻数（$k$）是否能提升词义消歧的准确率？
• RQ2 与固定$k$值（如$k=1$）相比，使用10折交叉验证选择$k$是否能带来更好的性能？
• RQ3 基于事例的方法能否实现与朴素贝叶斯算法相当的准确率，后者此前在相同数据集上被报告为表现最佳？
• RQ4 当基于事例的方法无法超越最常见类别基线时，为何需要更大的$k$值？
• RQ5 Pebls中选择的距离度量方法与其它最近邻WSD系统中使用的汉明距离相比有何差异？

主要发现

• 在基于事例的分类器Pebls中使用$k=20$，可在同一语料库上实现与朴素贝叶斯算法相当的消歧准确率。
• 通过10折交叉验证选择$k$的程序所得性能略高于朴素贝叶斯算法，表明自动超参数调优可显著增强基于事例的学习。
• 在191个词中的13个中，通过交叉验证找到的最佳$k$值为85或更高，表明当方法难以超越基线时，其行为会退化为多数类类似模式。
• Pebls在$k=1$时的性能显著劣于朴素贝叶斯，但将$k$增加到20后，性能差距大幅缩小。
• 本研究表明，如先前工作所采用的特征剪枝可能具有破坏性，因为它会移除有助于提升准确率的有用搭配特征。
• 结果证实，当调优得当时，基于事例的学习是词义消歧的一种可行且具有竞争力的方法，尤其在采用交叉验证选择$k$时。