[论文解读] A Wind of Change: Detecting and Evaluating Lexical Semantic Change across Times and Domains

Dominik Schlechtweg, Anna Hätty+2 more|arXiv (Cornell University)|Jun 7, 2019

Advanced Text Analysis Techniques参考文献 39被引用 5

一句话总结

本文通过统一基准，在历时（基于时间）和共时（基于领域）任务中对大规模、系统化的词汇语义变迁（LSC）检测模型进行了评估。提出词注入（Word Injection）以绕过向量空间对齐，发现使用正交Procrustes对齐与余弦距离的Skip-gram with Negative Sampling（SGNS）模型表现最佳，并证明均值中心化能显著提升结果，从而在多种语言情境下建立了一个稳健且可复现的LSC检测框架。

ABSTRACT

We perform an interdisciplinary large-scale evaluation for detecting lexical semantic divergences in a diachronic and in a synchronic task: semantic sense changes across time, and semantic sense changes across domains. Our work addresses the superficialness and lack of comparison in assessing models of diachronic lexical change, by bringing together and extending benchmark models on a common state-of-the-art evaluation task. In addition, we demonstrate that the same evaluation task and modelling approaches can successfully be utilised for the synchronic detection of domain-specific sense divergences in the field of term extraction.

研究动机与目标

• 为解决历时词汇语义变迁检测中缺乏标准化评估的问题，该问题阻碍了模型比较与领域进展。
• 评估历时LSC模型在共时设置下的鲁棒性与可迁移性，例如在专业语料库中检测领域特定语义变化。
• 识别LSC检测中最佳的模型架构、对齐技术与预处理步骤，尤其关注向量空间表示与语义变化度量指标。
• 研究LSC检测模型对语料频率、多义性及数据洗牌的敏感性，特别是在控制条件下。
• 通过构建并利用一个新且可靠的领域特定共时LSC数据集，建立可复现的LSC检测基准。

提出的方法

• 本研究在两个数据集上评估了多种模型：一个用于历时变化（德语词汇随时间演变），另一个用于共时变化（德语语料库中的领域特定语义）。模型涵盖语义向量空间（如SGNS）、主题模型与词义聚类方法。
• 采用正交Procrustes对齐方法对不同时期或领域间的词向量进行对齐，避免后续对齐步骤，并与Word Injection等替代方法进行比较；Word Injection是一种受术语抽取启发的技术。
• 通过对比对齐后向量之间的余弦距离来度量语义变化，并使用两个标准金标排名进行性能评估：DURel（基于历时变化）与SURel（基于共时领域特定变化）。
• 通过句子时间洗牌构建控制条件，以检验模型是否检测到真实的语义变迁，而非受频率与多义性影响；同时采用频率下采样以隔离这些影响。
• 在预处理阶段应用词向量均值中心化，以提升旋转对齐方法的性能，尤其在正交Procrustes映射中效果显著。
• 评估涵盖多种向量空间类型、对齐技术与变化检测度量的组合，进行广泛的超参数调优与统计验证。

实验结果

研究问题

• RQ1 哪种模型架构与向量空间表示在跨时间与领域检测词汇语义变迁时表现最佳？
• RQ2 不同对齐技术（如正交Procrustes与Word Injection）在多大程度上影响LSC检测的准确性？
• RQ3 如均值中心化等预处理步骤在多大程度上影响向量空间对齐与语义变化检测的性能？
• RQ4 LSC检测模型在多大程度上受语料频率与多义性的影响？这些混杂因素如何缓解？
• RQ5 在历时LSC检测中训练的模型能否有效迁移到共时LSC任务中，例如识别领域特定的词义演变？

主要发现

• SGNS用于词表示、正交Procrustes对齐与余弦距离作为变化度量的组合，在历时与共时LSC任务中均表现最佳。
• 词向量的均值中心化显著提升了旋转对齐方法的性能，尤其在正交Procrustes对齐中，被确认为关键的预处理步骤。
• 尽管概念上具有潜力，Word Injection在所有向量空间类型中表现均劣于正交Procrustes对齐，表明通过变换矩阵实现对齐更为有效。
• 使用时间洗牌语料的控制条件显示模型预测显著下降（DURel从0.5降至0.36，SURel从0.53降至0.44），证实模型检测的是真实语义变迁而非频率效应。
• 在时间洗牌后，模型预测与金标排名的斯皮尔曼等级相关系数在DURel上急剧下降（从ρ=0.816降至0.180），但在SURel上仍保持较高水平（ρ=0.767），表明SURel排名仍受频率与多义性影响，即使在洗牌后亦然。
• 将所有目标词下采样至约50的统一频率后，SURel相关系数降至ρ=0.576，表明即使经过洗牌，频率与词使用分布的方差仍会影响模型预测。