[论文解读] Generalizing Point Embeddings using the Wasserstein Space of Elliptical Distributions

Boris Muzellec, Marco Cuturi|arXiv (Cornell University)|May 1, 2018

Anomaly Detection Techniques and Applications被引用 30

一句话总结

本文提出Wasserstein椭圆嵌入，将对象表示为Wasserstein度量空间中的椭圆概率分布。通过利用2-Wasserstein距离的闭式表达式——分解为均值与协方差项——该方法实现了比基于KL散度的高斯嵌入更数值稳定且更直观的点嵌入扩展，在捕捉上下位关系等语义关系方面表现更优。

ABSTRACT

Embedding complex objects as vectors in low dimensional spaces is a longstanding problem in machine learning. We propose in this work an extension of that approach, which consists in embedding objects as elliptical probability distributions, namely distributions whose densities have elliptical level sets. We endow these measures with the 2-Wasserstein metric, with two important benefits: (i) For such measures, the squared 2-Wasserstein metric has a closed form, equal to a weighted sum of the squared Euclidean distance between means and the squared Bures metric between covariance matrices. The latter is a Riemannian metric between positive semi-definite matrices, which turns out to be Euclidean on a suitable factor representation of such matrices, which is valid on the entire geodesic between these matrices. (ii) The 2-Wasserstein distance boils down to the usual Euclidean metric when comparing Diracs, and therefore provides a natural framework to extend point embeddings. We show that for these reasons Wasserstein elliptical embeddings are more intuitive and yield tools that are better behaved numerically than the alternative choice of Gaussian embeddings with the Kullback-Leibler divergence. In particular, and unlike previous work based on the KL geometry, we learn elliptical distributions that are not necessarily diagonal. We demonstrate the advantages of elliptical embeddings by using them for visualization, to compute embeddings of words, and to reflect entailment or hypernymy.

研究动机与目标

• 为解决点嵌入在捕捉复杂对象结构方面的局限性，通过将点嵌入推广为概率分布来实现一般化。
• 克服现有概率嵌入方法（尤其是基于Kullback-Leibler散度的方法）中存在的数值不稳定性和几何约束问题。
• 构建一个框架，通过在2-Wasserstein度量下对Dirac delta分布的收敛性，自然地扩展点嵌入。
• 实现非对角协方差矩阵的学习，从而更丰富地表征嵌入对象中的不确定性和相关性。
• 在词嵌入、可视化以及蕴含关系捕捉等语义任务中，展示该框架的实用性。

提出的方法

• 将对象表示为椭圆分布——即密度等高线呈椭圆形状的分布——从而推广点嵌入。
• 在这些分布的空间中赋予2-Wasserstein度量，该度量对平方距离具有闭式表达式。
• 将平方2-Wasserstein距离分解为均值间平方欧氏距离与协方差矩阵间平方Bures距离之和。
• 利用Bures度量在正半定矩阵的因式分解表示下变为欧氏度量的特性，实现稳定优化。
• 在训练过程中学习完整的、非对角协方差矩阵，避免了先前工作中常见的对角约束。
• 将该框架应用于下游任务，如词嵌入、可视化以及基于Wasserstein空间几何结构的语义蕴含建模。

实验结果

研究问题

• RQ1 在2-Wasserstein空间中，椭圆分布是否能比基于KL散度的高斯分布更稳定、更直观地推广点嵌入？
• RQ2 椭圆分布之间2-Wasserstein距离的闭式表达式相比其他分歧度量，在数值行为上有哪些改善？
• RQ3 非对角协方差矩阵在语义嵌入任务中，能在多大程度上提升表征能力？
• RQ4 Wasserstein椭圆嵌入能否有效建模如上下位关系和蕴含关系等语义关系？
• RQ5 在可视化质量与下游任务性能方面，这些嵌入与点嵌入相比表现如何？

主要发现

• 椭圆分布之间的平方2-Wasserstein距离具有闭式表达式，结合了均值间欧氏距离与协方差矩阵间Bures距离。
• 在合适的因式分解下，协方差矩阵上的Bures度量变为欧氏度量，从而实现稳定高效的优化。
• 当比较Dirac delta分布时，该框架自然退化为标准欧氏距离，确保与点嵌入的向后兼容性。
• 该方法学习完整的非对角协方差矩阵，相比对角高斯假设，能更丰富地建模不确定性和相关性。
• 实证结果表明，Wasserstein椭圆嵌入在词嵌入、可视化以及捕捉语义蕴含关系方面均提升了性能。
• 与基于KL散度的高斯嵌入相比，该方法在非对角设置下表现出更优的数值稳定性和几何一致性。