[论文解读] A Direct $ ilde{O}(1/\epsilon)$ Iteration Parallel Algorithm for Optimal Transport

Arun Jambulapati, Aaron Sidford+1 more|arXiv (Cornell University)|Jun 3, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用 5

一句话总结

该论文提出了一种用于最优传输的新型原始-对偶外梯度算法，可在 ˜O(1/ϵ) 次并行迭代和 ˜O(n²/ϵ) 次总计算量内实现 ϵ-近似解，达到先前最优工作量复杂度，同时避免使用二阶方法或不可并行化的子程序。该方法利用面积凸性与镜像近似风格的更新机制，实现高效、可扩展的计算，并具备实际应用中的良好收敛速率。

ABSTRACT

Optimal transportation, or computing the Wasserstein or ``earth mover's'' distance between two distributions, is a fundamental primitive which arises in many learning and statistical settings. We give an algorithm which solves this problem to additive $\epsilon$ with $ ilde{O}(1/\epsilon)$ parallel depth, and $ ilde{O}\left(n^2/\epsilon ight)$ work. Barring a breakthrough on a long-standing algorithmic open problem, this is optimal for first-order methods. Blanchet et. al. '18, Quanrud '19 obtained similar runtimes through reductions to positive linear programming and matrix scaling. However, these reduction-based algorithms use complicated subroutines which may be deemed impractical due to requiring solvers for second-order iterations (matrix scaling) or non-parallelizability (positive LP). The fastest practical algorithms run in time $ ilde{O}(\min(n^2 / \epsilon^2, n^{2.5} / \epsilon))$ (Dvurechensky et. al. '18, Lin et. al. '19). We bridge this gap by providing a parallel, first-order, $ ilde{O}(1/\epsilon)$ iteration algorithm without worse dependence on dimension, and provide preliminary experimental evidence that our algorithm may enjoy improved practical performance. We obtain this runtime via a primal-dual extragradient method, motivated by recent theoretical improvements to maximum flow (Sherman '17).

研究动机与目标

• 设计一种一阶、可并行化的最优传输算法，避免依赖矩阵缩放或正线性规划求解器等不可并行化或二阶子程序。
• 在保持最优已知工作量复杂度 ˜O(n²/ϵ) 的同时，提升并行深度与基于归约方法的实用性。
• 证明基于面积凸性和镜像近似风格更新的原始-对偶外梯度方法可在最优传输中实现最优收敛速率，并具备可证明的保证。
• 通过展示与 Sinkhorn 和 APDAMD 相当的实验性能，弥合理论收敛性与实际表现之间的差距。
• 探索正则化与步长调节在稳定和加速最优传输一阶方法中的作用。

提出的方法

• 将最优传输问题重新表述为在盒（ℓ∞-球）与单纯形（ℓ1-球）上的极小极大博弈，从而实现原始-对偶形式化。
• 基于最大流与双人博弈的最新进展，应用基于面积凸性的对偶外推方案，以实现收敛。
• 使用镜像近似作为外梯度方法的数值稳定实现，避免对偶算子累积。
• 采用包含熵项与二次项的正则化项，并自适应调整步长以提升收敛性。
• 采用交替最小化策略，通常 3–5 步即可收敛，当 ℓ1 移动量趋于可忽略时终止。
• 将代价矩阵 C 视为有界条目 ∥C∥max，并在收敛性分析与步长选择中加以利用。

实验结果

研究问题

• RQ1 能否设计一种一阶、可并行化的算法，在不依赖矩阵缩放或正线性规划归约的前提下，实现最优传输的 ˜O(1/ϵ) 迭代复杂度？
• RQ2 使用面积凸性与镜像近似风格更新，是否能同时实现最优传输的理论收敛性与实际效率？
• RQ3 与理论保证相比，正则化与步长的自适应调节在实践中如何影响收敛性？
• RQ4 为何 Sinkhorn 在大步长 η 下收敛速度超出预测，且一阶方法能否复现此行为？
• RQ5 在不同正则化水平下，所提方法是否能保持鲁棒性与高效性，而不会出现不稳定现象？

主要发现

• 该算法实现了 ˜O(1/ϵ) 的并行深度与 ˜O(n²/ϵ) 的总工作量，与 [BJKS18, Qua19] 的最优工作量复杂度一致，但无需依赖不可并行化或二阶子程序。
• 实验结果表明，该方法在实践中收敛速度优于 ϵ−2 速率，经常优化常数后，其速度超过 APDAMD 并接近 Sinkhorn。
• 该方法在不同熵正则化水平下保持稳定，且在正则化参数调优后收敛性显著提升，表明理论中 10 倍因子可能过于保守。
• 在优化设置下（熵=3，步长=∥d∥∞），其性能优于 APDAMD，且与 Sinkhorn 竞争，显示出强大的实际可行性。
• 该算法对正则化变化具有鲁棒性，表明理论中所需的正则化量级可能远大于实际所需。
• 初步实验表明，通过自适应调节步长与正则化等参数，可实现接近或超越当前最先进方法（如 Sinkhorn 与 APDAMD）的性能。