[论文解读] Overrelaxed Sinkhorn-Knopp Algorithm for Regularized Optimal Transport

Alexis Thibault, Lénaïc Chizat+2 more|arXiv (Cornell University)|Nov 6, 2017

Optimization and Variational Analysis参考文献 34被引用 15

一句话总结

本文提出了一种超松弛的Sinkhorn–Knopp算法，通过自适应超松弛与李雅普诺夫函数监控，在确保全局收敛的同时加速了正则化最优传输的收敛。该方法通过动态调整松弛参数，将标准Sinkhorn算法的收敛速度提升了最多20倍，尤其在正则化参数较小时效果显著。

ABSTRACT

This article describes a set of methods for quickly computing the solution to the regularized optimal transport problem. It generalizes and improves upon the widely-used iterative Bregman projections algorithm (or Sinkhorn--Knopp algorithm). We first propose to rely on regularized nonlinear acceleration schemes. In practice, such approaches lead to fast algorithms, but their global convergence is not ensured. Hence, we next propose a new algorithm with convergence guarantees. The idea is to overrelax the Bregman projection operators, allowing for faster convergence. We propose a simple method for establishing global convergence by ensuring the decrease of a Lyapunov function at each step. An adaptive choice of overrelaxation parameter based on the Lyapunov function is constructed. We also suggest a heuristic to choose a suitable asymptotic overrelaxation parameter, based on a local convergence analysis. Our numerical experiments show a gain in convergence speed by an order of magnitude in certain regimes.

研究动机与目标

• 解决标准Sinkhorn–Knopp算法在最优传输问题中，当熵正则化参数较小时收敛缓慢的问题。
• 开发一种全局收敛的加速方法，同时保持原始算法的一阶、可并行化结构。
• 提出一种实用且自适应的超松弛方案，确保收敛性的同时提升收敛速度。
• 分析超松弛算法的局部收敛速率，并推导出选择最优超松弛参数的启发式方法。
• 通过数值实验表明，所提方法在迭代次数和运行时间方面显著优于标准Sinkhorn算法，尤其在小ε参数下表现更优。

提出的方法

• 提出一种超松弛Bregman投影方案，通过在对偶更新中引入超松弛，推广标准Sinkhorn–Knopp算法。
• 利用李雅普诺夫函数确保全局收敛，通过强制其在每次迭代中递减来实现。
• 提出一种基于当前李雅普诺夫函数值的自适应策略，用于选择超松弛参数。
• 通过SOR型迭代的局部收敛分析，推导出渐近超松弛参数的启发式选择方法。
• 将正则化非线性加速（RNA）技术应用于Sinkhorn算法，以实现快速收敛，但不保证全局收敛性。
• 利用二次泰勒展开，证明自适应超松弛方案在不动点附近的稳定性和收敛性。

实验结果

研究问题

• RQ1 是否可以以一种确保全局收敛的方式将超松弛应用于Sinkhorn–Knopp算法，同时实现收敛加速？
• RQ2 在正则化最优传输问题中，最优超松弛参数的选择应如何在速度与稳定性之间取得平衡？
• RQ3 基于李雅普诺夫函数的自适应超松弛策略如何确保收敛性并提升性能？
• RQ4 在迭代次数和运行时间方面，所提方法相较于标准Sinkhorn算法的性能提升程度如何，尤其在小正则化参数下？
• RQ5 能否通过局部收敛分析推导出渐近超松弛参数的启发式方法，以提升实际性能？

主要发现

• 所提出的超松弛算法在低正则化参数条件下，相比标准Sinkhorn算法实现了超过20倍的速度提升。
• 自适应超松弛策略通过确保每次迭代中李雅普诺夫函数递减，从而保证了全局收敛性。
• 数值实验表明，基于独立问题估计的超松弛参数性能几乎与基于同一问题测量的参数相当，表明方法具有鲁棒性。
• 与标准Sinkhorn相比，超松弛算法的局部收敛速率得到提升，最优超松弛参数θ*可实现更快收敛。
• 该方法保持了与Sinkhorn算法相同的每次迭代复杂度，且完全可并行化，适用于GPU加速。
• 理论分析证实，当超松弛参数位于区间(1, θ₀)时可实现全局收敛，其中θ₀取决于原始算法的局部收敛速率。