[论文解读] Generalized Sliced Wasserstein Distances

Soheil Kolouri, Kimia Nadjahi+3 more|arXiv (Cornell University)|Feb 1, 2019

Advanced Numerical Analysis Techniques被引用 17

一句话总结

本文通过使用多项式或圆形函数等非线性投影，将广义Radon变换扩展至切片Wasserstein距离，提出了广义切片Wasserstein（GSW）距离。此外，提出了最大GSW（max-GSW）距离，采用单一最优投影，显著降低了计算成本，同时保持了度量性质，并在生成建模任务中优于标准切片Wasserstein距离。

ABSTRACT

The Wasserstein distance and its variations, e.g., the sliced-Wasserstein (SW) distance, have recently drawn attention from the machine learning community. The SW distance, specifically, was shown to have similar properties to the Wasserstein distance, while being much simpler to compute, and is therefore used in various applications including generative modeling and general supervised/unsupervised learning. In this paper, we first clarify the mathematical connection between the SW distance and the Radon transform. We then utilize the generalized Radon transform to define a new family of distances for probability measures, which we call generalized sliced-Wasserstein (GSW) distances. We also show that, similar to the SW distance, the GSW distance can be extended to a maximum GSW (max-GSW) distance. We then provide the conditions under which GSW and max-GSW distances are indeed distances. Finally, we compare the numerical performance of the proposed distances on several generative modeling tasks, including SW flows and SW auto-encoders.

研究动机与目标

• 通过将线性投影推广为非线性投影，解决高维数据中切片Wasserstein距离的高计算成本问题。
• 建立广义切片Wasserstein距离作为有效度量的理论条件。
• 提出一种最大GSW距离，通过使用单一最优投影来降低投影复杂度。
• 通过实证验证GSW与max-GSW在自编码器和流模型等生成建模任务中的性能。
• 探索使用神经网络近似广义Radon变换定义函数的潜力。

提出的方法

• 通过广义Radon变换将切片Wasserstein距离推广，用非线性映射替代线性投影。
• 将GSW距离定义为概率测度在非线性流形上投影的p-Wasserstein距离的平均值。
• 通过在投影空间中进行优化，选择使投影Wasserstein距离最大的单一投影，从而构建max-GSW距离。
• 推导出GSW与max-GSW距离满足度量公理的理论条件。
• 将该方法应用于SWAE与SW流架构，在目标函数中用GSW与max-GSW替代标准SW距离。
• 实验采用多项式、圆形及三次齐次定义函数，在MNIST与合成数据上评估性能。

实验结果

研究问题

• RQ1 通过广义Radon变换的非线性投影能否为概率测度生成有效的距离度量？
• RQ2 在何种条件下，广义切片Wasserstein距离是合法的度量？
• RQ3 基于单一最优投影的最大GSW距离是否在降低计算成本的同时保持度量性质？
• RQ4 GSW与max-GSW距离与标准切片Wasserstein距离相比，在生成建模任务中表现如何？
• RQ5 非线性投影是否能比线性投影更有效地捕捉高维数据分布的内在几何结构？

主要发现

• 在自编码器与流模型中，使用多项式或圆形定义函数的GSW距离比线性投影更有效地捕捉数据分布的非线性几何结构。
• max-GSW距离在匹配潜在分布与先验分布方面达到与SOTA GAN方法WAE-GAN相当的性能。
• 在SWAE训练中，采用三次多项式投影的GSWAE在编码分布与先验分布之间的2-Wasserstein距离上优于线性或圆形投影。
• max-GSWAE模型在输入与重构分布之间的2-Wasserstein距离低于SWAE，表明其具有更好的生成质量。
• 所提出的GSW与max-GSW距离显著减少了捕捉数据结构所需的投影数量，降低了计算负担。
• 实证结果表明，非线性投影在合成数据与真实世界数据设置中均能实现更快收敛与更优的分布匹配效果。