[论文解读] Temporal Analysis of Language through Neural Language Models

Yoon Kim, Yi-I Chiu+3 more|arXiv (Cornell University)|May 14, 2014

Language and cultural evolution参考文献 10被引用 34

一句话总结

本文提出一种按时间顺序训练的神经语言模型，利用谷歌图书语料库（1900–2009）检测并定位词语在时间维度上的语义变化。通过逐年训练 Skip-gram 模型，并利用余弦相似度追踪词向量的偏移，该方法识别出 'cell' 和 'gay' 等词语经历了显著的语义变化，精准定位了变化发生的具体时期——例如 'cell' 的变化主要发生在 1985–2009 年，而 'gay' 的变化则集中于 1970 年代。

ABSTRACT

We provide a method for automatically detecting change in language across time through a chronologically trained neural language model. We train the model on the Google Books Ngram corpus to obtain word vector representations specific to each year, and identify words that have changed significantly from 1900 to 2009. The model identifies words such as "cell" and "gay" as having changed during that time period. The model simultaneously identifies the specific years during which such words underwent change.

研究动机与目标

• 开发一种自动化方法，用于检测历史语料库中语言的语义变化。
• 不仅识别出哪些词语发生了语义变化，还能确定这些变化具体发生在哪个时间周期。
• 提供一种可扩展的、数据驱动的替代方案，以替代人工或基于上下文的历时语义漂移检测方法。
• 使研究者能够通过词向量轨迹，以时间精度研究语言演变的动力学过程。

提出的方法

• 在谷歌图书语料库（1900–2009）的逐年语料上训练 Skip-gram 神经语言模型。
• 使用前一年的词向量初始化后续年份的词向量，以确保时间上的连续性。
• 计算同一词语在不同年份的词向量之间的余弦相似度，以衡量语义漂移程度。
• 追踪目标词语与其邻居词之间余弦相似度的时间序列，以检测语义变化的快速发生期。
• 以所有词语相对于 1900 年参考点的平均余弦相似度作为基线，以区分真实语义变化与随机漂移。
• 可视化并分析词向量轨迹，以识别 'cell' 和 'gay' 等词语在何时以及如何发生语义转变。

实验结果

研究问题

• RQ1 根据词向量轨迹，1900 至 2009 年间哪些词语表现出显著的语义变化？
• RQ2 我们能否自动检测出词语语义发生变化的具体时间周期？
• RQ3 所识别出的变化时期与已知的历史或文化事件之间是否存在相关性？
• RQ4 像 'cell' 和 'gay' 这类词语的语义转变在多大程度上与已记录的社会语言学发展相吻合？
• RQ5 我们能否通过基线相似度度量，将真实的语义变化与随机噪声或抽样变异区分开来？

主要发现

• 该模型成功识别出 'cell' 经历了显著的语义变化，其中最显著的转变发生在 1985 至 2009 年之间，与手机的兴起时间相吻合。
• 词语 'gay' 在 1970 年代经历了重大的语义转变，与女同性恋、男同性恋、双性恋及酷儿权利运动的兴起以及该词的重新占有现象相一致。
• 该模型检测到 'checked' 的语义从 '抑制' 转变为 '核实' 或 '检查'，表明其多义性随时间发生了演变。
• 词语 'actually' 的用法发生了演变，其语义从表示事实真实性转变为表达惊讶或强调，这在现代话语中尤为明显。
• 在各自的变化时期，'cell' 和 'gay' 与邻居词的余弦相似度显著下降，证实了其在向量空间中的语义重组。
• 该模型的基线（即所有词语相对于 1900 年参考点的平均相似度）表明，'cell' 和 'gay' 所观察到的变化显著超出随机波动，验证了其显著性。