[论文解读] Fixed-Support Wasserstein Barycenters: Computational Hardness and Fast Algorithm

Tianyi Lin, Nhat Ho+3 more|arXiv (Cornell University)|Feb 12, 2020

Geometric Analysis and Curvature Flows参考文献 62被引用 18

一句话总结

本文证明了当 $ m \geq 3 $ 且 $ n \geq 3 $ 时，固定支撑 Wasserstein barycenter 问题（FS-WBP）无法通过最小费用流方法求解，因为其约束矩阵并非全幺模矩阵。本文提出 FastIBP，一种可证明更快的确定性迭代 Bregman 投影算法变体，其复杂度界为 $ \widetilde{O}(mn^{7/3}\varepsilon^{-4/3}) $，在 $ \varepsilon $ 和 $ n $ 的依赖关系上均优于现有方法。

ABSTRACT

We study the fixed-support Wasserstein barycenter problem (FS-WBP), which consists in computing the Wasserstein barycenter of $m$ discrete probability measures supported on a finite metric space of size $n$. We show first that the constraint matrix arising from the standard linear programming (LP) representation of the FS-WBP is extit{not totally unimodular} when $m \geq 3$ and $n \geq 3$. This result resolves an open question pertaining to the relationship between the FS-WBP and the minimum-cost flow (MCF) problem since it proves that the FS-WBP in the standard LP form is not an MCF problem when $m \geq 3$ and $n \geq 3$. We also develop a provably fast extit{deterministic} variant of the celebrated iterative Bregman projection (IBP) algorithm, named extsc{FastIBP}, with a complexity bound of $ ilde{O}(mn^{7/3}\varepsilon^{-4/3})$, where $\varepsilon \in (0, 1)$ is the desired tolerance. This complexity bound is better than the best known complexity bound of $ ilde{O}(mn^2\varepsilon^{-2})$ for the IBP algorithm in terms of $\varepsilon$, and that of $ ilde{O}(mn^{5/2}\varepsilon^{-1})$ from accelerated alternating minimization algorithm or accelerated primal-dual adaptive gradient algorithm in terms of $n$. Finally, we conduct extensive experiments with both synthetic data and real images and demonstrate the favorable performance of the extsc{FastIBP} algorithm in practice.

研究动机与目标

• 解决一个开放问题：固定支撑 Wasserstein barycenter 问题（FS-WBP）是否可被约化为标准线性规划形式下的最小费用流（MCF）问题。
• 为求解 FS-WBP 开发一种可证明更快且确定性的算法，尤其适用于 $ m \geq 3 $ 且 $ n \geq 3 $ 的大规模问题。
• 在 $ \varepsilon $ 和 $ n $ 的维度上，改进现有迭代 Bregman 投影（IBP）及加速算法的理论复杂度界。
• 在合成数据和真实世界图像数据集（如 MNIST）上，实证验证所提 FastIBP 算法的性能。

提出的方法

• 证明当 $ m \geq 3 $ 且 $ n \geq 3 $ 时，FS-WBP 标准线性规划形式的约束矩阵并非全幺模矩阵，从而排除其可被重述为最小费用流问题的可能性。
• 提出 FastIBP，一种迭代 Bregman 投影（IBP）算法的确定性变体，采用新颖的步长选择策略以提升收敛速度。
• 为 FastIBP 建立理论复杂度界 $ \widetilde{O}(mn^{7/3}\varepsilon^{-4/3}) $，在 $ \varepsilon $ 依赖上优于标准 IBP 的 $ \widetilde{O}(mn^{2}\varepsilon^{-2}) $。
• 利用原始-对偶框架推导复杂度界，结合最优传输领域中加速梯度方法的最新进展。
• 在合成数据和 MNIST 图像上实现并评估 FastIBP，与 Gurobi 和标准 IBP 比较目标值、可行性及运行时间。
• 通过消融实验分析不同 $ m $ 和 $ \varepsilon $ 下的表现，验证 FastIBP 在 $ m $ 上呈线性可扩展性，且在 $ \varepsilon $ 上具有更优的收敛性。

实验结果

研究问题

• RQ1 当 $ m \geq 3 $ 且 $ n \geq 3 $ 时，固定支撑 Wasserstein barycenter 问题（FS-WBP）是否等价于标准线性规划形式下的最小费用流（MCF）问题？
• RQ2 能否设计一种 IBP 算法的确定性变体，在 $ \varepsilon $ 和 $ n $ 的依赖关系上优于现有加速方法的复杂度界？
• RQ3 所提出的 FastIBP 算法在大规模和真实世界数据集上的运行时间与解质量是否优于标准 IBP 和商业求解器 Gurobi？
• RQ4 尽管对偶单纯形法具有理论保证，为何其在 FS-WBP 上表现不佳？这与问题的结构性困难有何关联？

主要发现

• 当 $ m \geq 3 $ 且 $ n \geq 3 $ 时，FS-WBP 标准线性规划形式的约束矩阵并非全幺模矩阵，证明在此参数范围内 FS-WBP 并非最小费用流问题。
• FastIBP 达到复杂度界 $ \widetilde{O}(mn^{7/3}\varepsilon^{-4/3}) $，在 $ \varepsilon $ 依赖上优于标准 IBP 的 $ \widetilde{O}(mn^{2}\varepsilon^{-2}) $。
• 在 $ n $ 依赖上，FastIBP 的复杂度界优于加速原始-对偶与交替最小化方法的 $ \widetilde{O}(mn^{5/2}\varepsilon^{-1}) $。
• 在 $ n=100 $ 的合成数据上，FastIBP 的运行时间随 $ m $ 线性增长，而 Gurobi 的运行时间增长快得多，验证了 FastIBP 的算法优势。
• 在 MNIST 数据集上，FastIBP 在 $ \eta = 0.001 $ 时生成的 barycenter 比标准 IBP 更清晰，表明其解质量更高、视觉保真度更优。
• 在相同实验中，Gurobi 的可行性违反程度高于 FastIBP，且其运行时间增长快于线性，表明对偶单纯形法在 FS-WBP 上存在结构性低效。