[论文解读] Approximating the Quadratic Transportation Metric in Near-Linear Time

Jason M. Altschuler, Francis Bach+2 more|arXiv (Cornell University)|Oct 23, 2018

Data Management and Algorithms参考文献 40被引用 13

一句话总结

本文提出了一种确定性算法，通过利用熵正则化、近似Sinkhorn缩放以及高斯核矩阵的低秩近似，以近乎线性时间 O(n log n) 近似计算两个离散概率分布之间的2- Wasserstein距离（二次运输度量）。该方法对平方2- Wasserstein距离实现了加法ε-近似，且显式地体现了对维度和精度的依赖。

ABSTRACT

Computing the quadratic transportation metric (also called the $2$-Wasserstein distance or root mean square distance) between two point clouds, or, more generally, two discrete distributions, is a fundamental problem in machine learning, statistics, computer graphics, and theoretical computer science. A long line of work has culminated in a sophisticated geometric algorithm due to Agarwal and Sharathkumar in 2014, which runs in time $ ilde{O}(n^{3/2})$, where $n$ is the number of points. However, obtaining faster algorithms has proven difficult since the $2$-Wasserstein distance is known to have poor sketching and embedding properties, which limits the effectiveness of geometric approaches. In this paper, we give an extremely simple deterministic algorithm with $ ilde{O}(n)$ runtime by using a completely different approach based on entropic regularization, approximate Sinkhorn scaling, and low-rank approximations of Gaussian kernel matrices. We give explicit dependence of our algorithm on the dimension and precision of the approximation.

研究动机与目标

• 解决长期存在的开放问题：尽管在压缩和嵌入方面存在已知限制，2- Wasserstein距离是否能在近乎线性时间内被近似计算？
• 克服二次代价函数导致的压缩和嵌入性能差的问题，这些问题是几何方法的障碍。
• 提供一种确定性、高效的算法，显式地体现运行时间对维度 d 和近似误差 ε 的依赖。
• 证明最优耦合中的低秩结构使得近似计算可在近乎线性时间内完成，从而绕过传统的几何方法。

提出的方法

• 该算法使用熵正则化将最优传输问题转化为平滑的、正则化的优化问题。
• 应用近似Sinkhorn缩放，以高效计算具有低秩结构的正则化耦合矩阵。
• 通过低秩近似高斯核矩阵来降低计算复杂度。
• 通过迭代投影维护并更新对角缩放矩阵 D₁ 和 D₂，以满足边缘约束。
• 通过因子分解形式隐式表示矩阵，以降低存储和计算成本。
• 通过熵和代价矩阵扰动分析，控制次优性间隙，确保精度。

实验结果

研究问题

• RQ1 尽管其压缩和嵌入性能较差，2- Wasserstein距离是否仍能在近乎线性时间内被近似计算？
• RQ2 是否可以利用熵正则化和低秩近似，实现对二次运输度量的近乎线性时间计算？
• RQ3 运行时间对维度 d 和近似误差 ε 的显式依赖关系是什么？
• RQ4 是否可以通过正则化和低秩结构，绕过依赖于嵌入和压缩的几何算法，从而实现对 W₂ 的高效计算？

主要发现

• 该算法在 O(nr log n) 时间内实现了对平方2- Wasserstein距离的加法ε-近似，其中 r 为低秩近似的秩。
• 运行时间为 O(nr(1 + log n / (εd)) log n / ε²)，且 r 的上界为 (e + 900 log n / (εd))ᵈ，明确体现了对维度和精度的依赖。
• 该方法提供了一种确定性算法，运行时间为 Õ(n)，优于基于几何方法的先前最优结果 Õ(n³ᐟ²)。
• 次优性间隙通过将误差分解为四个分量进行控制，每个分量均通过熵界、扰动分析和边缘偏差进行约束。
• 该方法成功绕过了压缩和嵌入的限制，转而利用正则化和低秩结构实现高效计算。