[论文解读] Decentralize and Randomize: Faster Algorithm for Wasserstein Barycenters

Pavel Dvurechensky, Darina Dvinskikh+3 more|arXiv (Cornell University)|Jun 11, 2018

Point processes and geometric inequalities参考文献 38被引用 21

一句话总结

该论文提出了一种新颖的去中心化、随机化算法，用于在分布式网络中计算连续概率测度的正则化Wasserstein中位数。通过结合加速的原始-对偶随机梯度方法与去中心化一致性机制，该方法实现了更快的收敛速度，并提供了明确的非渐近复杂度边界，优于确定性方法，尤其在中位数支持规模较大时表现更优。

ABSTRACT

We study the decentralized distributed computation of discrete approximations for the regularized Wasserstein barycenter of a finite set of continuous probability measures distributedly stored over a network. We assume there is a network of agents/machines/computers, and each agent holds a private continuous probability measure and seeks to compute the barycenter of all the measures in the network by getting samples from its local measure and exchanging information with its neighbors. Motivated by this problem, we develop, and analyze, a novel accelerated primal-dual stochastic gradient method for general stochastic convex optimization problems with linear equality constraints. Then, we apply this method to the decentralized distributed optimization setting to obtain a new algorithm for the distributed semi-discrete regularized Wasserstein barycenter problem. Moreover, we show explicit non-asymptotic complexity for the proposed algorithm.

研究动机与目标

• 解决大规模网络中去中心化计算Wasserstein中位数时面临的计算与通信挑战。
• 开发一种可扩展的去中心化算法，无需全局网络知识，支持从连续测度中进行本地采样。
• 通过在随机优化框架中引入随机化，实现比确定性方法更快的收敛速度。
• 提供显式的、非渐近的迭代与样本复杂度边界，其依赖于网络拓扑与问题参数。

提出的方法

• 提出一种用于带线性等式约束的凸优化的新加速原始-对偶随机梯度方法。
• 将该方法应用于去中心化网络环境下的半离散正则化Wasserstein中位数问题。
• 通过从连续概率测度中进行本地采样，并利用与邻居的通信，迭代更新本地估计值。
• 采用熵正则化以平滑问题并实现更快的收敛速率。
• 引入一种随机一致性机制，其中各代理使用对称的双随机权重矩阵对本地解进行平均。
• 基于网络的谱特性推导收敛速率，特别是权重矩阵的最大特征值 λ_max(W)。

实验结果

研究问题

• RQ1 去中心化算法能否在Wasserstein中位数计算中实现比确定性方法更快的收敛速度？
• RQ2 在大支持规模的中位数问题中，随机化如何影响收敛速度？
• RQ3 去中心化随机算法在正则化Wasserstein中位数问题中的显式非渐近复杂度是多少？
• RQ4 网络拓扑，尤其是 λ_max(W)，如何影响算法的收敛速率？
• RQ5 该算法能否在去中心化环境中有效计算高斯分布和冯·米塞斯分布等连续分布的中位数？

主要发现

• 所提算法对ε-最优解的非渐近迭代复杂度为 O(1/ε)，其显式依赖于网络拓扑，通过 λ_max(W) 表达。
• 随机化显著提升了收敛速度，尤其在中位数支持规模较大时优于确定性方法。
• 算法在所有网络节点上收敛至同一中位数，该结果在Erdős-Rényi图与环形图上得到验证。
• 实证结果表明，对于一维高斯分布与冯·米塞斯分布，各节点的局部中位数均收敛至同一分布。
• 在MNIST与IXI数据集上的图像聚合实验表明，各代理收敛至具有结构代表性的图像，验证了该方法的实际有效性。
• 该算法在星型图上表现较差，因其 λ_max(W) 较高，表明网络结构对性能有显著影响。