[论文解读] On the Complexity of Approximating Multimarginal Optimal Transport

Tianyi Lin, Nhat Ho+2 more|arXiv (Cornell University)|Sep 30, 2019

Complexity and Algorithms in Graphs参考文献 70被引用 29

一句话总结

本文提出了两种确定性算法——多边际Sinkhorn算法与加速多边际Sinkhorn算法，用于近似求解多边际最优传输（MOT），并提供了可证明的复杂度界。研究证明，当 $m \geq 3$ 时，标准的线性规划（LP）公式并非最小费用流问题，从而排除了网络单纯形等组合算法的应用。该研究建立了近线性时间复杂度 $\widetilde{O}(m^3 n^m \varepsilon^{-2})$ 和改进的 $\varepsilon$-依赖关系 $\widetilde{O}(m^3 n^{m+1/3} \varepsilon^{-4/3})$，在大规模MOT问题上优于Gurobi求解器。

ABSTRACT

We study the complexity of approximating the multimarginal optimal transport (MOT) distance, a generalization of the classical optimal transport distance, considered here between $m$ discrete probability distributions supported each on $n$ support points. First, we show that the standard linear programming (LP) representation of the MOT problem is not a minimum-cost flow problem when $m \geq 3$. This negative result implies that some combinatorial algorithms, e.g., network simplex method, are not suitable for approximating the MOT problem, while the worst-case complexity bound for the deterministic interior-point algorithm remains a quantity of $ ilde{O}(n^{3m})$. We then propose two simple and extit{deterministic} algorithms for approximating the MOT problem. The first algorithm, which we refer to as extit{multimarginal Sinkhorn} algorithm, is a provably efficient multimarginal generalization of the Sinkhorn algorithm. We show that it achieves a complexity bound of $ ilde{O}(m^3n^m\varepsilon^{-2})$ for a tolerance $\varepsilon \in (0, 1)$. This provides a first extit{near-linear time} complexity bound guarantee for approximating the MOT problem and matches the best known complexity bound for the Sinkhorn algorithm in the classical OT setting when $m = 2$. The second algorithm, which we refer to as extit{accelerated multimarginal Sinkhorn} algorithm, achieves the acceleration by incorporating an estimate sequence and the complexity bound is $ ilde{O}(m^3n^{m+1/3}\varepsilon^{-4/3})$. This bound is better than that of the first algorithm in terms of $1/\varepsilon$, and accelerated alternating minimization algorithm~\citep{Tupitsa-2020-Multimarginal} in terms of $n$. Finally, we compare our new algorithms with the commercial LP solver extsc{Gurobi}. Preliminary results on synthetic data and real images demonstrate the effectiveness and efficiency of our algorithms.

研究动机与目标

• 分析当 $m \geq 3$ 时，近似求解多边际最优传输（MOT）的计算复杂度。
• 证明当 $m \geq 3$ 时，MOT的标准线性规划（LP）公式并非最小费用流问题，从而排除组合算法（如网络单纯形）的应用。
• 设计具有可证明效率的确定性算法，用于近似求解MOT，并在复杂度界上优于现有方法。
• 在合成数据和真实图像上评估所提算法，表明在大规模场景下优于商业求解器（如Gurobi）的表现。

提出的方法

• 提出多边际Sinkhorn算法，作为经典Sinkhorn算法在MOT中的确定性推广，采用熵正则化方法。
• 推导出在MOT距离上达到 $\varepsilon$-精度的复杂度界为 $\widetilde{O}(m^3 n^m \varepsilon^{-2})$。
• 通过引入估计序列，提出加速多边际Sinkhorn算法，将 $\varepsilon$-依赖关系降低至 $\varepsilon^{-4/3}$。
• 设计一种新颖的舍入方案，将正则化解转换为 $\varepsilon$-近似MOT计划。
• 将熵正则化MOT问题作为代理问题，通过迭代缩放实现高效优化。
• 采用MOT的对偶公式，适用于多边际生成对抗网络（GANs）和自由支撑Wasserstein均值等应用。

实验结果

研究问题

• RQ1 当 $m \geq 3$ 时，多边际最优传输的标准线性规划公式是否等价于最小费用流问题？
• RQ2 能否设计出具有可证明复杂度保证的确定性高效算法，用于近似求解MOT？
• RQ3 对于确定性MOT近似算法，$\varepsilon$ 和 $n$ 的最佳可实现依赖关系是什么？
• RQ4 熵正则化与加速技术如何提升MOT求解器的收敛速度与复杂度性能？
• RQ5 这些算法是否能在大规模MOT问题上超越商业LP求解器（如Gurobi）？

主要发现

• 当 $m \geq 3$ 时，MOT的标准LP公式并非最小费用流问题，因此无法使用网络单纯形等组合算法。
• 多边际Sinkhorn算法实现了 $\widetilde{O}(m^3 n^m \varepsilon^{-2})$ 的复杂度界，首次为MOT近似提供了近线性时间保证。
• 加速多边际Sinkhorn算法将 $\varepsilon$-依赖关系降低至 $\varepsilon^{-4/3}$，在 $\varepsilon$ 依赖性上优于标准Sinkhorn算法，并在 $n$ 依赖性上优于先前的加速方法。
• 在合成数据和MNIST图像数据上，所提算法在运行时间和可扩展性方面均优于Gurobi，尤其在 $n^m$ 较大、Gurobi内存耗尽时表现更优。
• 算法成功计算出高质量的自由支撑Wasserstein均值，展示了与现有最先进方法相当的实际竞争力。