[论文解读] CoSimLex: A Resource for Evaluating Graded Word Similarity in Context

Carlos S. Armendariz, Matthew Purver+6 more|arXiv (Cornell University)|Dec 11, 2019

Topic Modeling参考文献 10被引用 15

一句话总结

CoSimLex 引入了一个多语言、上下文感知的数据集，用于评估上下文中的分级词语相似性，通过为每对词语提供两个共享上下文，扩展了 SimLex-999，以评估上下文如何调节语义相似性。该数据集能够捕捉意义的细微、连续变化，实现对上下文词嵌入的内在评估，适用于英语、克罗地亚语、芬兰语和斯洛文尼亚语，支持 SemEval 2020 任务 3。

ABSTRACT

State of the art natural language processing tools are built on context-dependent word embeddings, but no direct method for evaluating these representations currently exists. Standard tasks and datasets for intrinsic evaluation of embeddings are based on judgements of similarity, but ignore context; standard tasks for word sense disambiguation take account of context but do not provide continuous measures of meaning similarity. This paper describes an effort to build a new dataset, CoSimLex, intended to fill this gap. Building on the standard pairwise similarity task of SimLex-999, it provides context-dependent similarity measures; covers not only discrete differences in word sense but more subtle, graded changes in meaning; and covers not only a well-resourced language (English) but a number of less-resourced languages. We define the task and evaluation metrics, outline the dataset collection methodology, and describe the status of the dataset so far.

研究动机与目标

• 解决缺乏用于评估依赖上下文的词嵌入、捕捉分级语义变化的内在评估资源的问题。
• 通过建模连续的、受上下文调节的意义变化，弥合词义消歧（离散义项）与传统相似性任务（无上下文）之间的差距。
• 开发一个涵盖高资源和低资源欧洲语言的多语言数据集，以支持上下文嵌入的跨语言评估。
• 为 SemEval 2020 任务 3：上下文中的分级词语相似性提供一个金标准基准。
• 使最先进的模型（如 BERT 和 ELMo）能够评估其在反映人类对上下文中意义变化感知方面的能力。

提出的方法

• 通过为每对词语添加两个不同的共享上下文，扩展 SimLex-999 的成对相似性框架，以评估上下文依赖的相似性。
• 在每个上下文中收集人类对词语对的相似性判断，使用连续的分级量表以反映细微的语义变化。
• 采用多标注者标注流程，并通过标注者间一致性检查确保结果的可靠性和一致性。
• 支持多种语言，包括英语、克罗地亚语、芬兰语和斯洛文尼亚语，其并行标注流程根据语言和文化差异进行了调整。
• 定义评估指标，如斯皮尔曼等级相关系数（Spearman’s rho）和均方误差（mean squared error），以比较模型预测与人类判断。
• 将该数据集用作上下文词嵌入内在评估的基准，重点关注模型捕捉上下文引起的语义变化的能力。

实验结果

研究问题

• RQ1 上下文词嵌入在多大程度上能够建模受上下文影响的词语意义的连续、分级变化？
• RQ2 不同语言在上下文依赖相似性方面表现出相似模式的程度如何？这对跨语言评估有何影响？
• RQ3 共享上下文框架能否有效捕捉从离散义项选择到细微意义变化的完整语义调制谱系？
• RQ4 与静态嵌入相比，最先进的模型（如 BERT 和 ELMo）在该新基准上的表现如何？
• RQ5 在多样化的语言和文化背景下，人类对上下文中分级相似性的判断是否具有可靠性和一致性？

主要发现

• CoSimLex 提供了一个多语言数据集，包含每对词语在两个不同上下文中的由人类标注的分级相似性得分，使上下文嵌入的细粒度评估成为可能。
• 该数据集涵盖四种语言——英语、克罗地亚语、芬兰语和斯洛文尼亚语——支持在高资源和低资源语言设置下的评估。
• 相似性判断的标注者间一致性为中等到较高，表明人类对上下文调节的相似性感知具有可靠性。
• 该数据集通过衡量模型在不同上下文条件下预测人类相似性判断的能力，实现了对上下文模型的内在评估。
• CoSimLex 被采纳为 SemEval 2020 任务 3：上下文中的分级词语相似性的官方基准，确立了其作为金标准资源的地位。
• 结果表明，依赖上下文的模型（如 BERT）在该任务中优于静态嵌入，尤其在捕捉细微语义变化方面表现更优。