[论文解读] Embedding Words as Distributions with a Bayesian Skip-gram Model

Arthur Bražinskas, Serhii Havrylov+1 more|arXiv (Cornell University)|Nov 29, 2017

Topic Modeling参考文献 6被引用 21

一句话总结

该论文提出了一种贝叶斯Skip-gram模型，将词语表示为概率密度分布而非固定向量，通过近似后验推断实现上下文相关的不确定性建模。与先前方法不同，该模型从词特定先验中生成词嵌入作为分布，并得到上下文敏感的后验密度，利用变分自编码框架在词汇替换和标准NLP基准上表现出色。

ABSTRACT

We introduce a method for embedding words as probability densities in a low-dimensional space. Rather than assuming that a word embedding is fixed across the entire text collection, as in standard word embedding methods, in our Bayesian model we generate it from a word-specific prior density for each occurrence of a given word. Intuitively, for each word, the prior density encodes the distribution of its potential 'meanings'. These prior densities are conceptually similar to Gaussian embeddings. Interestingly, unlike the Gaussian embeddings, we can also obtain context-specific densities: they encode uncertainty about the sense of a word given its context and correspond to posterior distributions within our model. The context-dependent densities have many potential applications: for example, we show that they can be directly used in the lexical substitution task. We describe an effective estimation method based on the variational autoencoding framework. We also demonstrate that our embeddings achieve competitive results on standard benchmarks.

研究动机与目标

• 解决固定词嵌入在捕捉多义性和上下文相关语义方面的局限性。
• 将词语意义建模为反映不确定性和义项变化的分布，而非单一向量。
• 通过从生成式贝叶斯框架中推导后验密度，实现在上下文中的特定推理。
• 展示这些上下文敏感分布在线性替换等下游NLP任务中的实用性。

提出的方法

• 该模型采用Skip-gram框架的贝叶斯扩展，其中每个词的出现都从词特定的先验分布中抽取潜在语义。
• 采用变分自编码（VAE）框架，编码器生成词义上的上下文特定后验分布。
• 先验分布按词参数化，作为数据相关先验，编码潜在语义。
• 通过变分推断推断后验分布，实现对上下文中每个词的不确定性建模。
• 使用负采样进行随机梯度下降，优化变分下界（ELBO）。
• 先验和后验分布均采用球形协方差矩阵，提升训练稳定性和性能。

实验结果

研究问题

• RQ1 能否有效将词嵌入建模为概率密度，以捕捉多义性和语义不确定性？
• RQ2 上下文特定的后验分布能否提升在线性替换和其他NLP任务中的性能？
• RQ3 上下文敏感的后验分布与固定分布嵌入相比，在建模词语意义方面表现如何？
• RQ4 将词语意义建模为分布是否能更好地捕捉蕴含等语义关系？

主要发现

• 贝叶斯Skip-gram模型成功生成了反映上下文语境中词语义项的上下文敏感后验分布，例如当'kiwi'出现在与鸟类相关的上下文中时，分布会向'bird'方向移动。
• 该模型在词汇替换任务上达到最先进性能，证明了后验分布用于词替换预测的实用性。
• 上下文特定的后验分布优于固定分布嵌入，在捕捉义项变化方面表现更优，尤其对多义词效果显著。
• 该模型在标准词语相似度和类比基准测试中表现强劲，性能与Skip-gram和高斯嵌入（W2G）基线相当。
• 球形协方差矩阵的性能优于对角或全协方差矩阵，表明各向同性不确定性已足够支持上下文特定建模。
• 该模型通过水平集包含表示蕴含关系的能力得到验证，但直接使用KL散度进行蕴含检测被发现存在问题。