[论文解读] Assessing System Agreement and Instance Difficulty in the Lexical Sample Tasks of Senseval-2

Ted Pedersen|ArXiv.org|May 27, 2002

Natural Language Processing Techniques参考文献 2被引用 9

一句话总结

本文使用kappa统计量和一种新颖的'最优组合'度量方法，分析了Senseval-2英语和西班牙语词汇样本任务中的系统一致性与实例难度。研究发现系统间的一致性存在显著差异，部分系统高度冗余，而另一些则具有互补性；并发现实例难度与可用训练样本数量强相关，尤其是当某个词义的训练样本少于10个时更为明显。

ABSTRACT

This paper presents a comparative evaluation among the systems that participated in the Spanish and English lexical sample tasks of Senseval-2. The focus is on pairwise comparisons among systems to assess the degree to which they agree, and on measuring the difficulty of the test instances included in these tasks.

研究动机与目标

• 评估Senseval-2词汇样本任务中系统之间的一致性程度，以评估冗余性或互补性。
• 根据系统表现，衡量Senseval-2词汇样本中单个测试实例的难度。
• 研究每个词义的训练样本数量是否与实例难度相关。
• 识别出可通过集成组合获得性能提升的系统对。
• 为词义消歧任务中的挑战提供见解，特别是针对训练数据稀疏的词义。

提出的方法

• 使用Cohen's kappa统计量（按机会一致性进行缩放）计算成对系统一致性。
• 引入'最优组合'度量方法，以量化组合两个系统可能带来的性能提升。
• 为每对系统构建2×2列联表，记录两个系统均正确、仅一个正确或均不正确的实例数量。
• 根据正确消歧该实例的系统数量对测试实例进行排序，以评估其相对难度。
• 将每个实例的平均训练样本数量与成功消歧该实例的系统数量进行相关性分析。
• 计算每类词性的平均系统性能，以评估词性层面的难度。

实验结果

研究问题

• RQ1 参与的系统在Senseval-2词汇样本任务中对词义消歧的一致性程度如何？
• RQ2 哪些系统对表现出最高的互补性，提示通过集成组合可提升性能？
• RQ3 每个词义的训练样本数量与消歧特定实例的难度之间有何相关性？
• RQ4 哪些词或词义最难消歧，其特征是什么？
• RQ5 有多少比例的测试实例被所有系统一致错误分类，这反映了任务的难度如何？

主要发现

• 在西班牙语任务中，alicante系统与其他系统根本不同，与jhu系统配对时达到最高的最优组合得分（0.89），表明其具有极强的互补性。
• 在英语任务中，4,328个测试实例中有1,277个（占29.5%）被五个或更少的系统正确消歧，表明整体难度较高。
• 对于英语动词实例，有174个未被任何系统正确消歧；这些实例的每个正确词义平均仅有6个训练样本。
• 相比之下，有28个英语动词实例被全部23个系统正确消歧，这些实例的每个正确词义平均有47个训练样本。
• 在英语中，动词'find'是最难的词，平均仅有4.2个系统（共23个）正确消歧其68个实例。
• 在西班牙语中，动词'conducir'是最难的，平均仅有3.8个系统（共8个）正确消歧其54个实例。