[论文解读] Computational modeling of semantic change

Nina Tahmasebi, Haim Dubossarsky|arXiv (Cornell University)|Apr 13, 2023

Natural Language Processing Techniques被引用 6

一句话总结

本文全面综述了利用大规模文本语料库建模语义变化的计算方法，重点聚焦于词元、词义和词类层次的无监督表征学习。该研究在不同数据类型上评估了模型性能，并提出了严格的评估策略，包括合成数据和随机化控制，以区分真正的语义变化与数据规模波动等伪影。

ABSTRACT

In this chapter we provide an overview of computational modeling for semantic change using large and semi-large textual corpora. We aim to provide a key for the interpretation of relevant methods and evaluation techniques, and also provide insights into important aspects of the computational study of semantic change. We discuss the pros and cons of different classes of models with respect to the properties of the data from which one wishes to model semantic change, and which avenues are available to evaluate the results.

研究动机与目标

• 为研究人员提供一份实用指南，根据数据特征选择合适的计算模型以研究语义变化。
• 解决区分真实语义变化与虚假信号（如数据规模增长或分布偏移）的挑战。
• 通过合成基准和控制设置，实现语义变化检测方法的稳健评估。
• 通过提供可靠的计算工具支持跨学科应用，如历史学、医学和政治学，以检测文本中意义的演变。
• 通过阐明不同建模层次（词元、词义、词类）的优势与局限，弥合语言学理论与计算建模之间的差距。

提出的方法

• 使用无监督表征学习从原始文本中提取语义，无需依赖外部词典或人工标注数据。
• 在三个层次上运行：词元层次（上下文中的单个词项）、词义层次（将上下文分组为词义）和词类层次（所有上下文中的词表示平均值）。
• 采用上下文嵌入（如 BERT 风格模型）和静态词嵌入（如 Word2Vec、GloVe）作为核心建模技术，以捕捉随时间推移的意义变化。
• 通过将语料库划分为时间区间并比较这些区间的词表示来实施时间分析，以检测语义漂移。
• 使用随机化控制测试检测到的变化是否由语义演化引起，还是由数据规模增长或分布偏移等伪影引起。
• 使用合成评估数据集（如 Shoemark et al., 2019；Dubossarsky et al., 2019）校准模型，并验证在已知变化模式下的检测性能。

实验结果

研究问题

• RQ1 如何在避免由数据规模或分布伪影引起的误报情况下，可靠地检测历时语料库中的语义变化？
• RQ2 词元层次、词义层次和词类层次建模方法在捕捉语义变化方面的相对优势与局限是什么？
• RQ3 在缺乏大规模人工标注的情况下，如何设计评估策略以验证语义变化检测的有效性？
• RQ4 计算语义变化模型在语言学之外的应用程度如何，例如在历史、医学或政治文本分析中的应用？
• RQ5 语料级属性（如时间增长或词汇漂移）在多大程度上影响语义变化检测模型的性能？

主要发现

• 随机化控制能有效暴露检测非语义变化（如由数据规模增长引起）的模型，证实稳健评估必须包含此类验证步骤。
• 词类层次模型虽然历史上占主导地位，但在捕捉细微或多重词义变化方面，不如词元或词义层次方法有效。
• 合成评估数据集可实现语义变化检测模型的可靠基准测试，支持性能比较与超参数调优。
• 在无外部知识库的情况下，仅基于原始文本训练的模型可成功检测长期和短期语义变化，包括青年俚语或领域特定语言中的变化。
• 建模层次（词元、词义、词类）的选择应由研究问题和数据可用性决定，目前词元层次建模是最活跃且前景最广阔的领域。
• 稳健评估需要同时包含个体词验证和高层次控制设置，以确保模型检测到的是真正的语义变化，而非虚假的时间模式。