[论文解读] Diachronic Usage Relatedness (DURel): A Framework for the Annotation of Lexical Semantic Change

Dominik Schlechtweg, Sabine Schulte im Walde+1 more|arXiv (Cornell University)|Apr 17, 2018

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了 DURel，一种基于跨时间周期词语用法语义相关性度量的、与语言无关的历时词汇语义变化标注框架。通过使用四分制相关性量表和标注者间一致性，该框架能够区分创新性与缩减性语义变化，实现高可靠性，并基于公开的德语测试集（包含22个词的1,320对用法）支持计算模型的评估。

ABSTRACT

We propose a framework that extends synchronic polysemy annotation to diachronic changes in lexical meaning, to counteract the lack of resources for evaluating computational models of lexical semantic change. Our framework exploits an intuitive notion of semantic relatedness, and distinguishes between innovative and reductive meaning changes with high inter-annotator agreement. The resulting test set for German comprises ratings from five annotators for the relatedness of 1,320 use pairs across 22 target words.

研究动机与目标

• 为解决评估词汇语义变化计算模型缺乏可靠、大规模测试集的问题。
• 通过直观的语义相关性概念，将共时多义性标注扩展至历时语义变化。
• 以高标注者间一致性区分创新性与缩减性语义变化。
• 开发一种适用于多种语言的与语言无关的标注框架。
• 提供一个公开可用的德语测试集，以支持语义变化模型的评估。

提出的方法

• 该框架使用四分制语义相关性量表（4：相同，3：密切相关，2：较远相关，1：不相关，0：无法判断）对两个时间周期内的词语用法对进行评分。
• 将历时用法相关性（DURel）定义为每个时间周期内用法对相关性的平均值，从而实现在不同周期间的比较。
• 提出两种度量方法：Δlater，通过计算从早期到后期周期的平均相关性变化，以检测创新性或缩减性变化。
• 比较度量（compare measure）通过将‘比较’组的相关性与早期周期进行对比，评估变化程度，从而捕捉即使Δlater失效时的语义变化。
• 提出对比较度量进行归一化，以考虑基线多义性，使用早期周期的相关性作为参考基准。
• 标注研究涉及五名标注者对22个德语目标词的1,320对用法进行评分，实现了高标注者间一致性。

实验结果

研究问题

• RQ1 基于语义相关性的框架能否可靠地标注历时词汇语义变化？
• RQ2 该框架能否以高标注者间一致性区分创新性与缩减性语义变化？
• RQ3 所提出的度量方法Δlater与compare在检测各种语义变化模式时表现如何？
• RQ4 在哪些情况下这些度量方法会失效，以及如何通过归一化进行改进？
• RQ5 该框架能否跨语言应用，并用于构建可靠的语义变化评估测试集？

主要发现

• DURel 框架实现了高标注者间一致性，验证了其在语义变化标注中的可靠性。
• Δlater 度量正确预测了缩减性变化（平均值 0.39）和创新性变化（平均值 -0.18），证实其有效区分两类变化的能力。
• 在如 Presse 这类词中，Δlater 度量未能检测到变化，原因是对高频新用法的敏感性不足。
• 比较度量在这些情况下成功捕捉了变化，正确识别出 Presse 存在强烈语义变化，而Δlater 失效。
• 比较度量将多义性误判为语义变化，如在 Feder 中，尽管语义稳定，但高多义性导致比较度量得分高。
• 对比较度量进行归一化是必要的，以考虑基线多义性，确保语义稳定的多义词不会引发误报。