[论文解读] How COVID-19 Is Changing Our Language : Detecting Semantic Shift in Twitter Word Embeddings

Yanzhu Guo, Christos Xypolopoulos+1 more|arXiv (Cornell University)|Feb 15, 2021

Opinion Dynamics and Social Influence参考文献 17被引用 8

一句话总结

本研究通过训练月度词嵌入并利用旋转映射进行对齐，检测了早期COVID-19大流行期间Twitter语言中的语义变化。研究发现，语义变化显著，尤其在大流行前与大流行后语言之间；并识别出一条新规律：在与大流行相关的推文中频率越高的词，越容易发生语义转变。

ABSTRACT

Words are malleable objects, influenced by events that are reflected in written texts. Situated in the global outbreak of COVID-19, our research aims at detecting semantic shifts in social media language triggered by the health crisis. With COVID-19 related big data extracted from Twitter, we train separate word embedding models for different time periods after the outbreak. We employ an alignment-based approach to compare these embeddings with a general-purpose Twitter embedding unrelated to COVID-19. We also compare our trained embeddings among them to observe diachronic evolution. Carrying out case studies on a set of words chosen by topic detection, we verify that our alignment approach is valid. Finally, we quantify the size of global semantic shift by a stability measure based on back-and-forth rotational alignment.

研究动机与目标

• 检测并量化由全球COVID-19大流行引发的社交媒体语言中的语义变化。
• 利用分布语义学和词嵌入方法，研究大流行如何随时间改变词语含义。
• 验证基于对齐的方法在跨不同时期比较词嵌入时的有效性。
• 检验既有的语义变化规律（如一致性法则）在危机引发的语言演变中是否依然成立。
• 通过分析与大流行相关语言中频率与稳定性的相关性，发现语义变化的新模式。

提出的方法

• 从Twitter收集并处理了三个月与COVID-19相关的推文，按月分批。
• 使用分布语义学方法，为每个月份（2020年4月、5月、6月）分别训练词嵌入模型。
• 训练一个通用的、大流行前的Twitter词嵌入模型作为对比。
• 应用基于最优线性变换的旋转对齐方法，对齐不同时期和语料的嵌入空间。
• 使用最常用的1000个词作为对齐锚点，利用Hamilton等人（2016）提出的“一致性法则”。
• 通过双向旋转对齐度量方法量化语义稳定性，以评估语义漂移程度。

实验结果

研究问题

• RQ1 COVID-19大流行在多大程度上引发了Twitter语言中的语义变化？
• RQ2 在大流行初期阶段（2020年4月至6月），语义变化如何随时间演变？
• RQ3 既有的语义变化规律（如一致性法则）在危机引发的语言演变中是否依然成立？
• RQ4 是否存在一种新规律，将事件特定语料中词语的频率与语义稳定性或变化联系起来？
• RQ5 跨语料（大流行前 vs. 大流行后）与历时性（按月）比较中，稳定性分布有何不同？

主要发现

• 大流行前与大流行后嵌入之间的稳定性分布偏向零且右偏，表明存在显著的跨语料语义变化。
• 2020年4月至6月期间的历时性稳定性分布近似正态分布，均值约为0.4，表明语义变化持续但程度较轻。
• “一致性法则”在大流行前词语频率中成立：越罕见的词语稳定性越高，与先前研究结果一致。
• 识别出一条新的语义变化规律：在大流行特定数据集中频率越高的词语，语义变化越强烈，表明大流行后频率与稳定性之间存在负相关性。
• 案例研究证实，'quarantine'（隔离）、'hero'（英雄）、'racism'（种族主义）和'AI'（人工智能）等词经历了显著的语义变化，其中'racism'在4月与针对亚裔的偏见关联性显著上升。
• 对齐方法有效，表现为案例研究中关键词及其语义邻近词的相似性趋势在时间上保持一致。