[论文解读] A Fast Globally Linearly Convergent Algorithm for the Computation of Wasserstein Barycenters

Yang Lei, Jia Li+2 more|PolyU Institutional Research Archive (Hong Kong Polytechnic University)|Sep 12, 2018

Image and Signal Denoising Methods参考文献 42被引用 12

一句话总结

该论文提出了一种基于对称高斯-赛德尔交替方向乘子法（sGS-ADMM）的快速、全局线性收敛算法，用于在无熵正则化的情况下计算离散概率分布的Wasserstein中位数。通过利用线性规划形式化的对偶结构，该方法实现了精确且高效的子问题求解，从而在大规模数据集上实现高精度计算，并保证收敛性。

ABSTRACT

We consider the problem of computing a Wasserstein barycenter for a set of discrete probability distributions with finite supports, which finds many applications in areas such as statistics, machine learning and image processing. When the support points of the barycenter are pre-specified, this problem can be modeled as a linear programming (LP) problem whose size can be extremely large. To handle this large-scale LP, we analyse the structure of its dual problem, which is conceivably more tractable and can be reformulated as a well-structured convex problem with 3 kinds of block variables and a coupling linear equality constraint. We then adapt a symmetric Gauss-Seidel based alternating direction method of multipliers (sGS-ADMM) to solve the resulting dual problem and establish its global convergence and global linear convergence rate. As a critical component for efficient computation, we also show how all the subproblems involved can be solved exactly and efficiently. This makes our method suitable for computing a Wasserstein barycenter on a large-scale data set, without introducing an entropy regularization term as is commonly practiced. In addition, our sGS-ADMM can be used as a subroutine in an alternating minimization method to compute a barycenter when its support points are not pre-specified. Numerical results on synthetic data sets and image data sets demonstrate that our method is highly competitive for solving large-scale Wasserstein barycenter problems, in comparison to two existing representative methods and the commercial software Gurobi.

研究动机与目标

• 开发一种高效、高精度的算法，用于计算离散概率分布的Wasserstein中位数。
• 避免现有方法中熵正则化引入的数值不稳定性和模糊效应。
• 通过利用线性规划形式化的对偶结构，处理大规模问题。
• 为所提出的sGS-ADMM方法建立全局收敛性和全局线性收敛速率。
• 在ADMM框架中实现子问题的精确且高效求解，以提升计算性能。

提出的方法

• 将Wasserstein中位数问题重新表述为具有三个块变量和耦合等式约束的对偶线性规划问题。
• 应用基于对称高斯-赛德尔的交替方向乘子法（sGS-ADMM）求解对偶问题，确保全局收敛性和全局线性收敛速率。
• 利用问题结构推导出的闭式表达式，精确且高效地求解sGS-ADMM中的所有子问题。
• 该算法避免使用熵正则化，从而保持运输计划的精确性并避免数值不稳定性。
• 该方法被集成到一种交替最小化框架中，用于在支撑点未预先指定时计算中位数。
• 该方法设计为内存高效且可扩展，适用于大规模数据集，每轮迭代的计算复杂度主要由O(m∑ₜmₜ)项主导。

(a) Distributions and barycenters

实验结果

研究问题

• RQ1 能否在无熵正则化的情况下，为Wasserstein中位数计算开发一种全局收敛且线性收敛的算法？
• RQ2 如何利用线性规划形式化的对偶结构，以实现高效且精确的子问题求解？
• RQ3 与熵正则化方法（如IBP）和商业求解器（如Gurobi）相比，所提出的sGS-ADMM方法的计算性能如何？
• RQ4 该方法能否在大规模数据集上保持高精度并实现高效扩展？
• RQ5 缺乏熵正则化对运输计划的质量和可解释性有何影响？

主要发现

• 所提出的sGS-ADMM方法在Wasserstein中位数计算的对偶问题上实现了全局收敛性和全局线性收敛速率。
• sGS-ADMM中的所有子问题均通过闭式解精确且高效地求解，避免了迭代求解器，减少了计算开销。
• 该方法在无熵正则化的情况下计算出精确的Wasserstein中位数，避免了正则化方法中常见的运输计划模糊化现象。
• 在合成数据集和图像数据集上的数值实验表明，该方法在精度和效率方面均优于两种代表性方法以及商业求解器Gurobi。
• 即使在极小的正则化参数下，该方法仍能保持高精度，而IBP方法则因收敛缓慢和数值不稳定性而表现不佳。
• 每轮迭代的计算成本为O(m∑ₜmₜ)，由于子问题的高效求解，该方法在大规模问题上表现出良好的可扩展性。

(b) Transport plans for $n=500$