[论文解读] A Graph Theoretic Additive Approximation of Optimal Transport

Nathaniel Lahn, Deepika Mulchandani+1 more|arXiv (Cornell University)|May 28, 2019

Complexity and Algorithms in Graphs参考文献 28被引用 4

一句话总结

该论文提出了一种新颖的图论算法，通过适配Gabow和Tarjan的成本标度框架，在O(n²C/δ + nC²/δ²)时间内计算最优传输问题的δ-接近加法近似解。该方法仅在残差图上使用Dijkstra型搜索和深度优先搜索，其在MNIST数据上的性能与Sinkhorn算法相当，且在小δ值下保持稳定。

ABSTRACT

Transportation cost is an attractive similarity measure between probability distributions due to its many useful theoretical properties. However, solving optimal transport exactly can be prohibitively expensive. Therefore, there has been significant effort towards the design of scalable approximation algorithms. Previous combinatorial results [Sharathkumar, Agarwal STOC '12, Agarwal, Sharathkumar STOC '14] have focused primarily on the design of near-linear time multiplicative approximation algorithms. There has also been an effort to design approximate solutions with additive errors [Cuturi NIPS '13, Altschuler \etal\ NIPS '17, Dvurechensky \etal\, ICML '18, Quanrud, SOSA '19] within a time bound that is linear in the size of the cost matrix and polynomial in $C/δ$; here $C$ is the largest value in the cost matrix and $δ$ is the additive error. We present an adaptation of the classical graph algorithm of Gabow and Tarjan and provide a novel analysis of this algorithm that bounds its execution time by $O(\frac{n^2 C}δ+ \frac{nC^2}{δ^2})$. Our algorithm is extremely simple and executes, for an arbitrarily small constant $\varepsilon$, only $\lfloor \frac{2C}{(1-\varepsilon)δ} floor + 1$ iterations, where each iteration consists only of a Dijkstra-type search followed by a depth-first search. We also provide empirical results that suggest our algorithm is competitive with respect to a sequential implementation of the Sinkhorn algorithm in execution time. Moreover, our algorithm quickly computes a solution for very small values of $δ$ whereas Sinkhorn algorithm slows down due to numerical instability.

研究动机与目标

• 设计一种可扩展的组合算法，用于最优传输的加法近似，并提供可证明的运行时间界限。
• 克服现有迭代算法（如Sinkhorn）在小加法误差δ下出现的数值不稳定性问题。
• 提供一种基于Gabow和Tarjan成本标度算法的简单、迭代方法，并对执行时间进行精细化分析。
• 利用动态最近邻数据结构，实现几何和度量成本下最优传输的高效计算。
• 探索并行化及基于近似最近邻的加速方法在大规模最优传输中的可行性。

提出的方法

• 将Gabow和Tarjan的成本标度算法适配于运输问题，通过整数缩放需求、供给和成本。
• 执行固定次数的迭代——⌊2C/((1−ε)δ)⌋+1次——每次迭代包括一次Dijkstra型搜索，随后在残差图上执行一次深度优先搜索。
• 使用通过将原始成本除以δ′并向下取整得到的缩放成本函数c̄(·,·)，并通过修改后的关键引理保持正确性。
• 在几何设置中，利用动态加权最近邻数据结构加速Dijkstra和DFS步骤，实现对数时间级别的查询/更新时间。
• 采用直径敏感的方法分析运行时间，将执行时间上界定为O(n²C/δ + nC²/δ²)。
• 实现一种顺序变体，避免迭代的行/列更新，与Sinkhorn和Greenkhorn不同。

实验结果

研究问题

• RQ1 组合算法是否能在C/δ的次线性时间内实现最优传输的δ-接近加法近似？
• RQ2 Gabow和Tarjan的成本标度框架能否被适配以提供最小迭代次数的可证明加法误差界？
• RQ3 在小δ值下，该算法与Sinkhorn等迭代方法相比，其执行时间和解的质量表现如何？
• RQ4 能否利用动态最近邻数据结构实现几何最优传输的近似最优时间复杂度？
• RQ5 是否可能设计一种可并行化的组合算法，实现δ-接近最优传输且开销较低？

主要发现

• 所提出的算法在O(n²C/δ + nC²/δ²)时间内运行，为最优传输成本提供δ-接近的加法近似。
• 该算法仅执行⌊2C/((1−ε)δ)⌋+1次迭代，每次迭代包含一次Dijkstra和一次DFS，因此高效且简洁。
• 实验结果表明，该算法在所有测试的δ值下均快于Sinkhorn算法，尤其在小δ值下优势显著，此时Sinkhorn因数值不稳定性而性能下降。
• 当δ在0.025至0.2之间时，该算法在执行时间和解质量上均持续优于Sinkhorn，即使Sinkhorn被赋予5倍大的误差容忍度。
• 结合动态最近邻数据结构后，该算法在欧氏距离和平方欧氏距离等几何成本下，实现Õ(n(C/δ)²)的时间复杂度。
• 与Sinkhorn不同，该算法在极小δ值下仍保持稳定和高效，后者因数值问题导致显著变慢。