[论文解读] A Simple Approach to Building Ensembles of Naive Bayesian Classifiers for Word Sense Disambiguation

Ted Pedersen|ArXiv.org|May 7, 2000

Natural Language Processing Techniques参考文献 16被引用 133

一句话总结

该论文提出了一种基于不同大小左右上下文窗口共现特征的朴素贝叶斯分类器简单集成方法，以提升词义消歧（WSD）性能。通过组合81个在不同窗口大小上训练的分类器并采用多数投票机制，该方法在'line'上达到88%的准确率，在'interest'上达到89%，其性能与最先进结果相当，且复杂度极低。

ABSTRACT

This paper presents a corpus-based approach to word sense disambiguation that builds an ensemble of Naive Bayesian classifiers, each of which is based on lexical features that represent co--occurring words in varying sized windows of context. Despite the simplicity of this approach, empirical results disambiguating the widely studied nouns line and interest show that such an ensemble achieves accuracy rivaling the best previously published results.

研究动机与目标

• 通过基于共现特征的简单可扩展集成方法，提升词义消歧的准确率。
• 探究结合使用不同上下文窗口大小的多个朴素贝叶斯分类器是否能提升消歧性能。
• 确定浅层词汇特征（共现）是否在WSD任务中优于更复杂的语言学特征。
• 评估多数投票在组合分类器输出时是否比加权投票更有效。
• 探索窗口大小多样性对集成性能及错误互补性的影响。

提出的方法

• 集成中的每个分类器均基于左、右上下文窗口大小（0至50词）的不同组合进行训练，共生成81个独特分类器。
• 上下文特征为指定窗口内词语共现的二值指示符，未进行词干还原、词性标注，也未处理大小写或标点符号。
• 朴素贝叶斯模型通过特征-词义对的频次统计估计类条件概率，并对零频事件应用拉普拉斯平滑。
• 通过从九个不同窗口大小类别中各选择一个分类器，采用简单的多数投票方式组合预测结果。
• 分类器选择优先考虑窗口大小的多样性，以最大化错误互补性并减少冗余。
• 测试了加权投票策略，但其性能低于多数投票。

实验结果

研究问题

• RQ1 基于不同上下文窗口大小训练的朴素贝叶斯分类器集成是否能优于单个分类器在词义消歧任务中的表现？
• RQ2 仅使用词汇窗口中的共现特征是否能获得与更复杂语言学特征相媲美的准确率？
• RQ3 在WSD集成中，多数投票是否比加权投票更有效？
• RQ4 集成成员之间窗口大小的多样性如何影响整体消歧准确率？
• RQ5 是否可通过一种简单、基于语料库的方法，辅以极少的特征工程，实现在标准WSD基准上的最先进性能？

主要发现

• 该集成在'line'上达到88%的准确率，在'interest'上达到89%，与此前最佳发表结果相当。
• 九个具有多样性的分类器（分别来自不同窗口大小类别）的多数投票结果优于单个分类器及更广泛的集成。
• 基于相似大小窗口的集成（如中等-中等）相比单个分类器提升有限，表明存在冗余。
• 包含全部81个分类器的完整集成性能较差（'interest'为81%），凸显了分类器选择策略的重要性。
• 加权投票的准确率（'interest'为83%）低于多数投票（'interest'为89%），表明在此设置下简单投票更有效。
• 仅使用共现特征已足够实现高准确率，添加词性或搭配特征未带来显著增益。