[论文解读] Improving Reliability of Word Similarity Evaluation by Redesigning Annotation Task and Performance Measure

Oded Avraham, Yoav Goldberg|arXiv (Cornell University)|Nov 11, 2016

Topic Modeling参考文献 6被引用 5

一句话总结

本文提出了一种新的词语相似性评估方法，通过重新设计标注任务以提高评分者间一致性，并引入基于可靠性的性能度量方法，从而提升评估的可靠性。该方法在结构化的目标组（正样本对、干扰对、随机对）内进行二元比较，实现了较高的评分者间一致性（0.646–0.659），并通过按类型划分的评分揭示了模型的弱点，例如word2vec在区分上下位关系对与其他关系方面存在困难。

ABSTRACT

We suggest a new method for creating and using gold-standard datasets for word similarity evaluation. Our goal is to improve the reliability of the evaluation, and we do this by redesigning the annotation task to achieve higher inter-rater agreement, and by defining a performance measure which takes the reliability of each annotation decision in the dataset into account.

研究动机与目标

• 解决传统词语相似性评估数据集因评分者间一致性低和标注任务模糊而导致的不可靠性问题。
• 克服基于评分尺度的评估方法所引入的偏差以及对非首选关系的任意打分问题。
• 通过区分不同类型词语对（正样本对、干扰对、随机对）的表现，实现对模型的细粒度评估。
• 开发一种可扩展且可靠的标注协议，减少人为偏差，提升相似性判断的一致性。
• 提供一种适用于多种语言和语义关系的框架，利用结构化目标组和二元比较任务。

提出的方法

• 重新设计标注任务，采用包含一个或多个正样本对（首选关系）、干扰对（非首选关系）和一个随机对的结构化目标组，所有对共享一个共同的目标词。
• 指导标注者仅在每个目标组内对正样本对按相似性进行排序，以最小化与其他相似性维度的混淆。
• 从多位标注者的排序结果中提取二元比较（例如 A > B），构建可靠的黄金标准数据集。
• 应用可靠性加权的性能度量方法，对评分者间一致性更高的标注赋予更高的置信度。
• 使用传统的斯皮尔曼等级相关系数和新的可靠性感知评分方法共同衡量模型性能，后者按比较类型分别计算得分。
• 利用词典、同义词词典和词语联想规范等词法资源，为不同语义关系（如上下位关系、共下位关系）创建数据集。

实验结果

研究问题

• RQ1 通过结构化目标组重新设计的标注任务是否能提升词语相似性评估中的评分者间一致性？
• RQ2 一种考虑标注可靠性的性能度量方法，是否能比标准相关系数提供更准确、更有意义的模型评估结果？
• RQ3 所提出的方法能否检测出模型在区分不同语义关系（如上下位关系与共下位关系）方面的弱点？
• RQ4 在新框架中，人类标注的可靠性在不同类型词语对（正样本对、干扰对、随机对）之间如何变化？
• RQ5 新评估方法在多大程度上揭示了传统评估方法中未显现的模型局限性？

主要发现

• 上下位关系数据集的评分者间一致性达到0.646，共下位关系数据集达到0.659，均显著高于传统数据集。
• word2vec模型在上下位关系数据集上的斯皮尔曼等级相关系数为0.451，表明尽管评分者间一致性高，但其预测与人类判断的对齐程度较低。
• word2vec模型在上下位关系数据集上的可靠性加权得分为0.718，但在干扰对上显著下降至0.625，表明其难以区分非首选关系。
• 模型在随机对上的表现最佳（得分为0.864），表明其在处理非相似但相关词语时可能存在过度自信或判断错位。
• 按比较类型分析显示，模型在处理非首选关系（如上下位关系对）时最为吃力，这些关系常被错误地排在其他关系之前。
• 共下位关系数据集显示出更高的模型性能（可靠性得分为0.864）和更强的相关性（0.587），表明该方法在不同语义关系上均具有效性。