[论文解读] Machine Learning with Lexical Features: The Duluth Approach to Senseval-2

Ted Pedersen|ArXiv.org|May 27, 2002

Bayesian Modeling and Causal Inference参考文献 2被引用 26

一句话总结

本论文提出了杜柳斯方法（Duluth approach）在 Senseval-2 中的词义消歧，采用监督式机器学习与简单的词汇特征（一元语法、二元语法及共现特征），适用于英语和西班牙语。其主要贡献在于证明特征工程而非复杂算法才是性能的关键，集成方法在西班牙语上达到最高 62% 的准确率，在英语上达到 57%，支持词义消歧难度分布的 50/25/25 规则。

ABSTRACT

This paper describes the sixteen Duluth entries in the Senseval-2 comparative exercise among word sense disambiguation systems. There were eight pairs of Duluth systems entered in the Spanish and English lexical sample tasks. These are all based on standard machine learning algorithms that induce classifiers from sense-tagged training text where the context in which ambiguous words occur are represented by simple lexical features. These are highly portable, robust methods that can serve as a foundation for more tailored approaches.

研究动机与目标

• 评估仅使用简单词汇特征（不依赖句法或 WordNet 特征）在词义消歧中的有效性。
• 研究结合多个分类器的集成方法是否能提升个体系统在词义消歧准确率上的表现。
• 确定特征表示与学习算法选择对词义消歧性能的相对影响。
• 通过 50/25/25 规则假设，探索测试实例中词义消歧难度的分布特征。
• 建立一个可移植、稳健的基线系统，适用于多种语言和词义词表。

提出的方法

• 使用 Bigram Statistics Package (BSP) 提取上下文特征，基于频率和统计显著性（对数似然比 ≥ 6.635 或 ≥ 2.706）识别一元语法、二元语法及共现特征。
• SenseTools 将特征输出转换为向量表示，供 Weka 机器学习套件使用。
• 使用朴素贝叶斯和 C4.5 风格的决策树（J48）训练多个系统，并对决策树学习应用袋装（bagging）以增强稳定性。
• 集成方法包括对多个分类器（如使用不同特征集的三个朴素贝叶斯分类器）进行加权投票，以及将全部八个系统组合为单一集成系统。
• 使用决策桩（单节点树）作为最小基线，以评估特征的信息量。
• 停用词表用于移除训练文件中出现频率 ≥ 10 次的高频词；仅语言特定的分词器和停用词表为语言相关组件。

实验结果

研究问题

• RQ1 仅使用词汇特征（不依赖句法或 WordNet 特征）在多大程度上能实现有效的词义消歧？
• RQ2 在使用相同特征集的情况下，学习算法的选择（如朴素贝叶斯与决策树）如何影响词义消歧的准确率？
• RQ3 能否通过结合使用不同特征集或学习策略的多个分类器的集成方法，提升整体词义消歧性能？
• RQ4 有多少比例的测试实例本质上难以消歧？该比例在不同系统和语言间是否呈现一致分布？
• RQ5 特征选择阈值（如频率和对数似然比）如何影响最终分类器的鲁棒性与准确率？

主要发现

• 最准确的单一系统 Duluth3（使用袋装决策树与二元语法特征）在英语上达到 57% 准确率，在西班牙语上达到 58%。
• Duluth8（使用袋装决策树与二元语法特征）在西班牙语上达到 62% 准确率，为所有杜柳斯系统中的最高值。
• 集成系统 DuluthC/DuluthZ 通过加权投票结合七个系统，达到西班牙语 59% 和英语 55% 的准确率，表明成员系统预测存在冗余。
• 50/25/25 规则得到实证支持：在英语中，39% 的实例被所有八个系统正确消歧，30% 被全部遗漏；在西班牙语中，38% 被全部正确处理，21% 被全部遗漏。
• 决策桩基线（DuluthB/DuluthY）在英语上达到 51%，西班牙语上达到 52%，优于最常见词义基线（英语 48%，西班牙语 47%），证实即使是最简模型也能从信息性特征中受益。
• 在使用相同特征集的情况下，从朴素贝叶斯到袋装决策树的准确率提升 3%，支持特征质量在性能结果中主导算法复杂度的假设。