[论文解读] Leveraging Contextual Embeddings for Detecting Diachronic Semantic Shift

Matej Martinc, Petra Kralj Novak+1 more|arXiv (Cornell University)|Dec 2, 2019

Language and cultural evolution参考文献 28被引用 42

一句话总结

本文提出一种方法，利用来自微调 BERT 的随时间特定的词表示来检测历时语义变化，在 LiverpoolFC 上与最先进方法表现相当，并应用于 Brexit 与多语言移民语料库。

ABSTRACT

We propose a new method that leverages contextual embeddings for the task of diachronic semantic shift detection by generating time specific word representations from BERT embeddings. The results of our experiments in the domain specific LiverpoolFC corpus suggest that the proposed method has performance comparable to the current state-of-the-art without requiring any time consuming domain adaptation on large corpora. The results on the newly created Brexit news corpus suggest that the method can be successfully used for the detection of a short-term yearly semantic shift. And lastly, the model also shows promising results in a multilingual settings, where the task was to detect differences and similarities between diachronic semantic shifts in different languages.

研究动机与目标

• 使用上下文嵌入来激发并衡量在短时间跨度内的语义漂移。
• 通过在时段分割的语料上对 BERT 进行微调，创建随时间变化的词表示。
• 在领域特定和多语言语料上评估该方法，以评估其通用性和效率。

提出的方法

• 在每个时间段语料上对预训练的 BERT 模型进行微调，以实现领域适应，而不进行历时微调。
• 通过将字节对编码的序列输入 BERT，并对最后四个编码层的输出求和，生成随时间的序列嵌入。
• 通过汇聚一个时间段内所有词元出现的上下文嵌入来创建词级随时间表示。
• 当字节对分拆一个词时，通过对构成词的标记嵌入求平均来重构词表示。
• 通过相同词元在不同时期的表示之间的余弦距离来测量语义漂移。
• 对于 Brexit，通过跟踪 Brexit 与经归一化 Levenshtein 距离筛选出的 50 个语义相关词之间的余弦相似度来分析相对漂移。

实验结果

研究问题

• RQ1 经过时段调优的 BERT 的情境嵌入是否能在不进行大规模领域适应的情况下检测短期语义漂移？
• RQ2 随时间的表示是否使多语言语料中的语义漂移跨语言比较成为可能？
• RQ3 随时间的表示与人类标注的语义漂移在 LiverpoolFC 等基准上的相关性如何？
• RQ4 在 Brexit 与移民话语中的检测到的漂移是否与现实世界事件及话语变化一致？

主要发现

• 在 LiverpoolFC 上，余弦距离与语义漂移指数之间的 Pearson 相关系数为 0.47，接近最先进的方法。
• 该方法在不进行大规模领域适应的情况下也达到与先前工作相当的结果。
• 对 Brexit 语料的分析显示多年来词语关系的显著变化，与事件和辩论相符。
• 多语言移民分析（英语-斯洛文尼亚语）表明英语和斯洛文尼亚语的词对在移民话语中的语义轨迹在很大程度上是共享的。
• 该方法可使用单一多语言 BERT 模型，在资源有限的语言中进行分析。
• 该方法展示了在短期语义漂移检测和跨语言比较方面的潜力。