[论文解读] Learning Embeddings into Entropic Wasserstein Spaces

Charlie Frogner, Farzaneh Mirzazadeh+1 more|arXiv (Cornell University)|May 8, 2019

Generative Adversarial Networks and Image Synthesis被引用 9

一句话总结

本文提出通过使用Sinkhorn散度在熵正则Wasserstein空间中学习数据嵌入作为离散概率分布，以实现高效优化。通过利用Wasserstein度量的灵活性，该方法在复杂结构的嵌入保真度方面表现更优，并可直接可视化高维嵌入而无需降维，其表征能力与可解释性均优于欧几里得和双曲基线方法。

ABSTRACT

Euclidean embeddings of data are fundamentally limited in their ability to capture latent semantic structures, which need not conform to Euclidean spatial assumptions. Here we consider an alternative, which embeds data as discrete probability distributions in a Wasserstein space, endowed with an optimal transport metric. Wasserstein spaces are much larger and more flexible than Euclidean spaces, in that they can successfully embed a wider variety of metric structures. We exploit this flexibility by learning an embedding that captures semantic information in the Wasserstein distance between embedded distributions. We examine empirically the representational capacity of our learned Wasserstein embeddings, showing that they can embed a wide variety of metric structures with smaller distortion than an equivalent Euclidean embedding. We also investigate an application to word embedding, demonstrating a unique advantage of Wasserstein embeddings: We can visualize the high-dimensional embedding directly, since it is a probability distribution on a low-dimensional space. This obviates the need for dimensionality reduction techniques like t-SNE for visualization.

研究动机与目标

• 解决欧几里得嵌入在捕捉数据中复杂、非欧几里得语义结构方面的局限性。
• 探索Wasserstein空间在学习保留多样化度量结构的嵌入方面的表征能力。
• 通过在低维基空间中将嵌入表示为点云，实现高维嵌入的直接可视化。
• 证明Sinkhorn正则化Wasserstein距离可作为端到端嵌入学习的有效且高效的梯度优化目标，适用于词嵌入等下游任务。
• 通过多模态分布的可视化检查，为嵌入提供一种调试工具。

提出的方法

• 将输入数据嵌入为在低维基空间中固定点数上的离散概率分布。
• 利用最优传输问题的熵正则化计算Sinkhorn散度，通过自动微分实现高效梯度计算。
• 通过最小化嵌入分布与目标度量结构之间的Sinkhorn散度，端到端训练嵌入模型。
• 固定分布的支持点，优化质量点的权重和位置以学习嵌入。
• 将学习到的嵌入直接作为基空间中的点云进行可视化，避免使用t-SNE等降维技术。
• 将该框架应用于词嵌入，并通过密度可视化和聚类分析评估检索性能与可解释性。

实验结果

研究问题

• RQ1 与欧几里得或双曲嵌入相比，具有熵正则化的Wasserstein嵌入是否能更忠实地捕捉复杂度量结构？
• RQ2 通过点云表示实现的Wasserstein嵌入直接可视化，是否相比降维后的可视化能提供更好的可解释性与调试能力？
• RQ3 在Wasserstein空间中学习到的词嵌入的多模态特性，如何反映多义性与语义关系？
• RQ4 Sinkhorn散度在多大程度上可作为Wasserstein空间中端到端嵌入学习的可行且有效的目标函数？
• RQ5 该嵌入空间是否可用于可视化和分析语义类别（如政治、军事和体育术语）之间的分离与重叠情况？

主要发现

• 与欧几里得和双曲嵌入相比，Wasserstein嵌入在度量保持的失真程度更低，对复杂网络结构的表征保真度更高。
• 通过Sinkhorn散度学习到的词嵌入在检索性能上与word2vec和GloVe等最先进方法相当。
• 将嵌入直接作为基空间中的点云进行可视化，清晰揭示了聚类与多模态结构，无需t-SNE等技术即可实现直观理解。
• 词嵌入的多模态特性使得单个词可同时与多个语义组部分重叠，有效捕捉了多义性。
• 对嵌入进行核密度估计后，可观察到不同语义类别（如政治与体育术语）具有明显且分离的模式。
• 可视化揭示了模型错误，例如将‘nice’误分类为法国城市，证明了直接检查在调试中的实用性。