[论文解读] Dynamic Word Embeddings

Robert Bamler, Stephan Mandt|arXiv (Cornell University)|Feb 27, 2017

Topic Modeling参考文献 7被引用 108

一句话总结

一个概率动态跳字模型，它通过扩散先验和变分推断学习随时间的连续单词嵌入轨迹，从而实现更平滑、时间感知的单词含义变迁。

ABSTRACT

We present a probabilistic language model for time-stamped text data which tracks the semantic evolution of individual words over time. The model represents words and contexts by latent trajectories in an embedding space. At each moment in time, the embedding vectors are inferred from a probabilistic version of word2vec [Mikolov et al., 2013]. These embedding vectors are connected in time through a latent diffusion process. We describe two scalable variational inference algorithms--skip-gram smoothing and skip-gram filtering--that allow us to train the model jointly over all times; thus learning on all data while simultaneously allowing word and context vectors to drift. Experimental results on three different corpora demonstrate that our dynamic model infers word embedding trajectories that are more interpretable and lead to higher predictive likelihoods than competing methods that are based on static models trained separately on time slices.

研究动机与目标

• 从带时间戳的文本中捕捉单个词的语义演化。
• 通过将特定时间的嵌入与潜在扩散过程联系起来，将词嵌入扩展到序列数据。
• 开发可扩展的推断算法（滤波与平滑），以跨所有时间步联合训练。
• 在可解释性和预测似然方面展示相对于静态、时间切片基线的改进。

提出的方法

• 将 skip-gram 泛化为带两个嵌入向量的动态设置（u_i 和 v_j）。
• 将时间演化建模为扩散过程，具有高斯先验和 Ornstein-Uhlenbeck 阻尼。
• 使用两种可扩展的变分推断算法：skip-gram 过滤（filtering）和 skip-gram 平滑（smoothing）。
• 实现带重参数化和结构化时域变分分布的黑盒变分推断。
• 在平滑中，使用具有三对角精度的因子化时序高斯以捕捉时间相关性。
• 在大型语料库上进行评估（Google Books、State of the Union、Twitter），并将预测似然性与静态基线进行比较。

实验结果

研究问题

• RQ1 是否可以在连续时间上学习词嵌入轨迹，而不是在单独的时间槽中？
• RQ2 与静态、时间切片模型相比，动态嵌入是否产生更平滑的轨迹和更易解读的语义变化？
• RQ3 跨时间共享信息是否能在保留数据的预测性能上有所提升，尤其是对于较小的时间切片？
• RQ4 不同的推断方案（滤波与平滑）在跟踪语义演化方面有何差异？
• RQ5 在跨越较长时间跨度的动态建模中，哪些词表现出最显著的语义变化？

主要发现

• 动态 skip-gram 模型比静态基线产生更平滑的词轨迹。
• 动态滤波和动态平滑在保留数据上的预测似然性高于静态模型，特别是在较小的语料库上。
• 嵌入轨迹揭示可解释的语义变化，如技术相关词汇的变化，呈现渐进式移动而非突变跳跃。
• 平滑（DSG-S）通常优于滤波（DSG-F），因为利用了来自过去和未来时间步的信息。
• 该方法能够自动识别在较长时间跨度内具有显著语义漂移的词。