[论文解读] Linear Optimal Transport Embedding: Provable fast Wasserstein distance computation and classification for nonlinear problems.

Caroline Moosmüller, Alexander Cloninger|arXiv (Cornell University)|Aug 20, 2020

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文提出了线性最优传输（LOT）嵌入方法，通过将概率分布最优传输至参考分布，将其映射到L²空间，从而实现Wasserstein-2距离的快速计算以及分布族的线性可分性。核心贡献在于证明了LOT几乎等距地保持Wasserstein-2距离，将N²对分布的两两距离计算减少为仅N个最优传输映射。

ABSTRACT

Discriminating between distributions is an important problem in a number of scientific fields. This motivated the introduction of Linear Optimal Transportation (LOT), which embeds the space of distributions into an $L^2$-space. The transform is defined by computing the optimal transport of each distribution to a fixed reference distribution, and has a number of benefits when it comes to speed of computation and to determining classification boundaries. In this paper, we characterize a number of settings in which LOT embeds families of distributions into a space in which they are linearly separable. This is true in arbitrary dimension, and for families of distributions generated through perturbations of shifts and scalings of a fixed distribution. We also prove conditions under which the $L^2$ distance of the LOT embedding between two distributions in arbitrary dimension is nearly isometric to Wasserstein-2 distance between those distributions. This is of significant computational benefit, as one must only compute $N$ optimal transport maps to define the $N^2$ pairwise distances between $N$ distributions. We demonstrate the benefits of LOT on a number of distribution classification problems.

研究动机与目标

• 开发一种基于最优传输的计算高效方法，用于比较概率分布。
• 在L²嵌入空间中实现分布族的线性可分性，以提升分类性能。
• 建立L²距离近似Wasserstein-2距离的理论条件。
• 将N个分布的两两距离比较计算成本从O(N²)降低至O(N)个最优传输映射。

提出的方法

• 通过计算每个分布到固定参考分布的最优传输映射，将分布嵌入到L²空间。
• 利用最优传输映射的结构，定义一种保持Wasserstein空间几何性质的线性嵌入。
• 通过基分布的平移和缩放扰动生成分布族，使其在嵌入空间中实现线性可分。
• 理论分析证明，在特定条件下，LOT嵌入的L²距离可近似Wasserstein-2距离。
• 该方法仅需N个最优传输映射即可计算N²对距离，显著降低计算开销。
• 在多个分布分类任务上验证了该框架，实证结果表明其有效性。

实验结果

研究问题

• RQ1 在何种条件下，LOT嵌入能以较小失真近似保持Wasserstein-2距离？
• RQ2 通过平移和缩放扰动生成的分布族是否可在LOT嵌入空间中实现线性可分？
• RQ3 LOT嵌入空间中的L²距离与真实分布间Wasserstein-2距离有何关系？
• RQ4 能否将所需最优传输映射数量从O(N²)减少至O(N)，同时保持对N个分布距离估计的准确性？
• RQ5 LOT在非线性分布问题上的分类性能提升程度如何？

主要发现

• 在分布族满足较弱条件时，LOT嵌入间的L²距离可近乎等距地近似Wasserstein-2距离。
• 通过平移和缩放扰动生成的分布族在LOT嵌入空间中实现线性可分，即使在任意维度下亦成立。
• 该方法将计算N²对两两距离的计算成本降低至仅需N个最优传输映射，实现了可扩展的分布比较。
• LOT通过将非线性分布族映射到线性可分空间，实现了有效的分类。
• 实证结果表明，该方法在分布分类任务中性能显著提升，验证了其实际应用价值。