[论文解读] Comparative Experiments on Disambiguating Word Senses: An Illustration of the Role of Bias in Machine Learning

Raymond J. Mooney|ArXiv.org|Dec 9, 1996

Natural Language Processing Techniques参考文献 47被引用 194

一句话总结

本文比较了七种机器学习算法——朴素贝叶斯、感知机、决策树、k近邻、DNF/CNF规则学习器和决策列表——在利用当前句和前一句上下文进行单词“line”的词义消歧任务中的表现。朴素贝叶斯和感知机方法显著优于其他方法，凸显了在自然语言处理任务中处理分布且重叠的证据时，特征加权偏差的重要性。

ABSTRACT

This paper describes an experimental comparison of seven different learning algorithms on the problem of learning to disambiguate the meaning of a word from context. The algorithms tested include statistical, neural-network, decision-tree, rule-based, and case-based classification techniques. The specific problem tested involves disambiguating six senses of the word ``line'' using the words in the current and proceeding sentence as context. The statistical and neural-network methods perform the best on this particular problem and we discuss a potential reason for this observed difference. We also discuss the role of bias in machine learning and its importance in explaining performance differences observed on specific problems.

研究动机与目标

• 对多种机器学习算法在特定词汇消歧任务上的表现进行实证比较。
• 探究算法偏差如何影响不同方法之间的性能差异。
• 评估统计学习、神经网络、符号学习和基于实例的学习技术在真实自然语言处理问题中的相对有效性。
• 提供一个严谨的、经统计验证的基准，用于词义消歧任务，使用完全相同的训练集和测试集。

提出的方法

• 本研究使用包含1,200个句子的语料库，其中“line”这个词有六个词义，上下文信息来自当前句和前一句。
• 七种学习算法在相同的训练集和测试集上进行训练和测试：朴素贝叶斯、感知机、C4.5决策树、k近邻、基于PFOIL的DNF和CNF规则学习器，以及决策列表学习器。
• 每种算法进行十次随机试验，以计算平均性能并支持性能差异的显著性检验。
• 性能通过在未见测试样本上的准确率进行衡量，同时记录训练和测试时间以评估效率。
• 特征表示将上下文窗口中的词干组成无序集合，不包含位置或句法信息。
• 对算法偏差进行定性分析，以解释性能差异，重点在于每种方法如何从训练数据中进行泛化。

实验结果

研究问题

• RQ1 在仅使用相邻句子中的词干作为输入的前提下，哪种机器学习算法在消歧六个词义的“line”时表现最佳？
• RQ2 不同的算法偏差（如线性阈值、规则排序或特征独立性）如何影响该自然语言处理任务的性能？
• RQ3 在该上下文中，统计方法和神经网络方法在多大程度上优于符号方法和基于实例的方法？
• RQ4 不同类型的算法在训练和测试时间上如何变化？这对实时应用意味着何种权衡？
• RQ5 输入表示的选择（如无序词干）是否限制或塑造了算法的性能排序？

主要发现

• 朴素贝叶斯和感知机方法在词义消歧任务中取得了最高准确率，显著优于所有其他算法。
• 朴素贝叶斯和感知机性能优越的原因在于其固有的偏差：通过加权求和的方式结合所有特征的证据。
• 决策列表在其他符号方法中表现更优，可能归因于其规则排序机制，该机制简化了冲突解决和表示。
• 符号方法如PFOIL-DNF和PFOIL-CNF训练时间最慢，最坏情况时间复杂度为O(n²)，而测试时间最快，因为特征评估最少。
• 感知机和朴素贝叶斯在训练时间与准确率之间表现出最有利的权衡，使其适用于大规模应用。
• 结果表明，算法偏差是性能的关键决定因素，且在所有自然语言处理问题中并无单一方法能始终占优。