[论文解读] A Survey on Contextualised Semantic Shift Detection

Stefano Montanelli, Francesco Periti|arXiv (Cornell University)|Apr 4, 2023

Language and cultural evolution参考文献 104被引用 16

一句话总结

本文综述了情境化语义漂移检测（CSSDetection）的方法，提出一个三维分类框架（含义表示、时间感知、学习模式），并分析评估指标、数据集和未解挑战。

ABSTRACT

Semantic Shift Detection (SSD) is the task of identifying, interpreting, and assessing the possible change over time in the meanings of a target word. Traditionally, SSD has been addressed by linguists and social scientists through manual and time-consuming activities. In the recent years, computational approaches based on Natural Language Processing and word embeddings gained increasing attention to automate SSD as much as possible. In particular, over the past three years, significant advancements have been made almost exclusively based on word contextualised embedding models, which can handle the multiple usages/meanings of the words and better capture the related semantic shifts. In this paper, we survey the approaches based on contextualised embeddings for SSD (i.e., CSSDetection) and we propose a classification framework characterised by meaning representation, time-awareness, and learning modality dimensions. The framework is exploited i) to review the measures for shift assessment, ii) to compare the approaches on performance, and iii) to discuss the current issues in terms of scalability, interpretability, and robustness. Open challenges and future research directions about CSSDetection are finally outlined.

研究动机与目标

• 定义CSSDetection及其在自动化随时间的语义漂移分析中的重要性。
• 提出CSSDetection方法的三维分类框架（含义表示、时间感知、学习模式）。
• 回顾最前沿的CSSDetection方法及其评估方式。
• 在可用时使用共享任务和语料库比较方法。
• 识别可扩展性、可解释性和鲁棒性挑战并概述未来研究方向。

提出的方法

• 引入一个CSSDetection的正式工作流：嵌入、可选聚合、以及漂移评估。
• 在三个维度上对方法进行分类：含义表示（基于形式 vs. 基于意义）、时间感知（时间不可知 vs. 时间感知）、学习模式（有监督 vs. 无监督）。
• 描述并形式化语义漂移度量（如原型之间的余弦距离、原型之间的倒转相似度、时间差、平均成对距离）。
• 讨论聚合技术（聚类 vs. 平均）及其对漂移测量的影响。
• 提供基于形式和基于意义的CSSDetection方法目录，包含模型类型、训练方案和漂移函数。
• 总结共享任务（如 SemEval-20 Task 1、DIACRIta-20、RuShiftEval-21、LSCDiscovery-22）的结果，并在可获得时比较报告的表现。

实验结果

研究问题

• RQ1 如何系统地对CSSDetection方法进行分类和比较？
• RQ2 在CSSDetection中使用了哪些含义表示和时间感知策略，它们如何影响检测与解释性？
• RQ3 在CSSDetection中采用了哪些学习范式（有监督 vs. 无监督），使用了哪些外部知识或避免了哪些？
• RQ4 用于量化变化的语义漂移度量有哪些，它们在不同任务和语言上表现如何？
• RQ5 当前的可扩展性、可解释性和鲁棒性限制是什么，未来方向有哪些？

主要发现

• 大多数基于形式的CSSDetection方法是时间不可知且依赖于无监督学习，聚合策略的常见做法是取平均。
• 基于意义的方法使用聚类来捕捉多种用法和含义，使得对跨意义的漂移有可解释性。
• 原型之间的余弦距离（CD）是广泛使用的漂移函数，文中讨论了如倒转相似度（PRT）和时间感知变体（TD、APD）。
• 时间感知的方法通常通过带有时间标记或时间参考的微调或适应预训练模型来捕捉时间动态。
• 共享任务评估（如 SemEval-20、DIACRIta-20、RuShiftEval-21、LSCDiscovery-22）用于比较CSSDetection方法，尽管结果受任务细节与语言的限制。
• 该综述强调在可扩展性、可解释性和鲁棒性方面的开放挑战，并提出CSSDetection的未来研究方向。