[论文解读] Gaussian Word Embedding with a Wasserstein Distance Loss

Chi Sun, Hang Yan+2 more|arXiv (Cornell University)|Aug 21, 2018

Topic Modeling参考文献 42被引用 12

一句话总结

该论文提出了一种基于Wasserstein距离损失训练的高斯词嵌入模型，以更好地捕捉语义不确定性，并提升词相似度与蕴含关系建模效果。通过利用ConceptNet进行半监督预训练，并采用Wasserstein距离实现非重叠分布间的比较，该模型在词相似度、蕴含关系和文档分类任务上均优于基于点向量和KL散度的基线模型。

ABSTRACT

Compared with word embedding based on point representation, distribution-based word embedding shows more flexibility in expressing uncertainty and therefore embeds richer semantic information when representing words. The Wasserstein distance provides a natural notion of dissimilarity with probability measures and has a closed-form solution when measuring the distance between two Gaussian distributions. Therefore, with the aim of representing words in a highly efficient way, we propose to operate a Gaussian word embedding model with a loss function based on the Wasserstein distance. Also, external information from ConceptNet will be used to semi-supervise the results of the Gaussian word embedding. Thirteen datasets from the word similarity task, together with one from the word entailment task, and six datasets from the downstream document classification task will be evaluated in this paper to test our hypothesis.

研究动机与目标

• 通过将词语表示为高斯分布而非点向量，提升词表示能力，以捕捉更丰富的语义信息与不确定性。
• 解决KL散度在训练基于分布的词嵌入时的局限性，特别是其在相似或非重叠分布下定义不清的问题。
• 利用ConceptNet中的外部知识进行半监督训练，以增强模型在下游任务中的泛化能力与性能表现。
• 评估Wasserstein距离作为损失函数在捕捉词分布间有意义差异方面的有效性，尤其是在蕴含关系等非对称关系中。
• 在多个NLP基准上，证明所提模型在性能上优于现有的基于点向量与基于分布的词嵌入方法。

提出的方法

• 将每个词表示为具有可学习均值与协方差矩阵的多变量高斯分布，实现对不确定性的感知语义表示。
• 使用两个多变量高斯分布之间Wasserstein距离的闭式解作为主要损失函数，以训练嵌入参数。
• 通过定义混合能量函数，将ConceptNet中的外部知识融入模型：对'IsA'（上下位关系）使用KL散度，对其他关系使用Wasserstein距离。
• 采用半监督训练策略，将ConceptNet中的外部关系视为额外上下文，用于正则化嵌入空间。
• 使用随机梯度下降优化模型，结合词相似度、蕴含关系与外部关系损失。
• 在下游任务（如文档分类）中使用训练好的嵌入，并以Word Mover's Distance (WMD)作为评估指标。

实验结果

研究问题

• RQ1 基于Wasserstein距离损失训练的高斯词嵌入模型，是否在捕捉语义不确定性和相似度方面优于基于点向量或KL散度的模型？
• RQ2 使用Wasserstein距离在何种程度上提升了对蕴含等非对称语义关系的建模能力，尤其是在分布重叠极少或无重叠的情况下？
• RQ3 将ConceptNet中的外部知识融入模型，能在多大程度上提升基于分布的词嵌入在相似度与蕴含任务中的性能表现？
• RQ4 与最先进基线相比，该模型是否在包括文档分类在内的多样化下游任务中均实现一致的性能提升？
• RQ5 为不同类型的外部关系选择不同能量函数是否能带来优于单一损失函数方法的性能表现？

主要发现

• 在6个文档分类数据集中的5个上，WDG模型（Wasserstein Distance Gaussian）优于skip-gram (SG)与标准高斯嵌入 (W2G)，平均测试错误率为17.8%，优于SG的17.5%与WDG的16.1%。
• 在词相似度任务中，WDG模型达到最先进性能，显著提升主要归因于词表示中引入的方差，从而实现了更丰富的语义覆盖。
• 模型在词蕴含任务中表现出显著提升，使用Wasserstein距离作为能量函数可更优地建模非对称关系。
• 词嵌入的可视化显示，高斯分布的大小与语义覆盖范围呈正相关，直观验证了模型对不确定性和语义范围的表示能力。
• 对'IsA'关系使用KL散度、对其他关系使用Wasserstein距离的策略，在蕴含任务中表现更优，证实了针对不同语义关系采用定制化损失函数的重要性。
• 该模型在需要细致语义理解的任务（如相似度与蕴含）中优势显著，而在文档分类任务中的增益则相对适中，表明通过引入上下文信息仍有进一步优化空间。