[论文解读] Gaussian Mixture Embeddings for Multiple Word Prototypes

Xinchi Chen, Xipeng Qiu+2 more|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling参考文献 22被引用 8

一句话总结

本文提出了高斯混合Skip-gram（GMSG）和动态GMSG（D-GMSG）模型，将词在嵌入空间中表示为高斯混合分布，其中每个分量对应一个词义。通过将词义建模为概率分布而非固定向量，该方法在不同距离度量（如KL散度）下捕捉到更丰富的语义关系（如上下位关系），在词相似度和词义消歧基准测试中优于基于点的模型。

ABSTRACT

Recently, word representation has been increasingly focused on for its excellent properties in representing the word semantics. Previous works mainly suffer from the problem of polysemy phenomenon. To address this problem, most of previous models represent words as multiple distributed vectors. However, it cannot reflect the rich relations between words by representing words as points in the embedded space. In this paper, we propose the Gaussian mixture skip-gram (GMSG) model to learn the Gaussian mixture embeddings for words based on skip-gram framework. Each word can be regarded as a gaussian mixture distribution in the embedded space, and each gaussian component represents a word sense. Since the number of senses varies from word to word, we further propose the Dynamic GMSG (D-GMSG) model by adaptively increasing the sense number of words during training. Experiments on four benchmarks show the effectiveness of our proposed model.

研究动机与目标

• 通过将词建模为多个词义而非单一向量来解决词嵌入中的多义性问题。
• 通过将词表示为概率分布而非嵌入空间中的点，实现词之间的更丰富语义关系。
• 在训练过程中动态调整词的词义数量，以反映不同词的词义数量差异。
• 通过利用分布表示，在词相似度和词义消歧任务中提升性能。

提出的方法

• 每个词在嵌入空间中表示为一个高斯混合分布，每个分量对应一个独立的词义。
• 该模型通过计算词的混合分量与上下文向量之间相似度的加权和，扩展了Skip-gram框架，以计算上下文词的似然。
• 通过基于上下文的分量相似度计算词义注意力，使用分量相似度上的软最大函数。
• 动态GMSG（D-GMSG）变体在训练过程中根据上下文证据自动增加词的分量数量（即词义数量）。
• 目标函数通过负采样最大化给定词混合表示时预测上下文词的对数似然。
• 使用不同距离度量（如KL散度、欧几里得距离、余弦相似度）测量词分布之间的相似度，以支持多样化的语义解释。

实验结果

研究问题

• RQ1 将词义建模为高斯混合分布是否能相比单点向量模型提升语义表示？
• RQ2 不同距离度量（如KL散度、余弦相似度）如何影响嵌入空间中词之间语义关系的解释？
• RQ3 在训练过程中采用动态机制学习词义数量，是否能更好地反映不同词多义性的真实差异？
• RQ4 所提出的模型是否在词相似度和词义消歧基准测试中优于现有的多原型词嵌入方法？

主要发现

• GMSG模型在SCWS基准测试中达到64.6的Spearman等级相关系数，优于Skip-gram（63.4）和MSSG（64.2）的词相似度评估结果。
• 词义消歧的MaxSimC指标中，GMSG达到53.6，显著高于MSSG的49.17和NP-MSSG的50.27。
• D-GMSG模型在SCWS上达到56.0的Spearman等级相关系数，表明动态词义数量自适应机制有效，尽管性能低于GMSG。
• D-GMSG学习到的词义数量分布显示，大多数词只有一个词义，随着词义数量增加，频率递减，反映出自然多义性的分布特征。
• 使用KL散度作为相似度度量时，发现上下位关系（如“fruit”和“apple”）比使用余弦或欧几里得距离更自然地被捕捉。
• 模型成功捕捉到高斯混合分量方差较大的词（如“fruit”）在语义上比方差较小的词（如“apple”）更广泛，表明其具有支持上下位关系的结构基础。