[论文解读] Decentralized Algorithms for Wasserstein Barycenters

Darina Dvinskikh|arXiv (Cornell University)|May 4, 2021

Statistical Mechanics and Entropy被引用 5

一句话总结

该论文提出了一种基于熵正则化最优传输对偶公式的去中心化算法，用于计算Wasserstein均值，利用计算成本更低的对偶预言机和Lipschitz连续梯度，实现加速梯度方法。关键贡献在于在通信轮数和预言机调用方面实现了最优复杂度界限，通过鞍点公式和镜像-近端方法在去中心化设置中得到验证。

ABSTRACT

In this thesis, we consider the Wasserstein barycenter problem of discrete probability measures from computational and statistical sides. The statistical focus is estimating the sample size of measures necessary to calculate an approximation for Fréchet mean (barycenter) of a probability distribution with a given precision. For empirical risk minimization approaches, the question of the regularization is also studied together with proposing a new regularization which contributes to the better complexity bounds in comparison with quadratic regularization. The computational focus is developing algorithms for calculating Wasserstein barycenters: both primal and dual algorithms which can be executed in a decentralized manner. The motivation for dual approaches is closed-forms for the dual formulation of entropy-regularized Wasserstein distances and their derivatives, whereas the primal formulation has closed-form expression only in some cases, e.g., for Gaussian measures. Moreover, the dual oracle returning the gradient of the dual representation for entropy-regularized Wasserstein distance can be computed for a cheaper price in comparison with the primal oracle returning the gradient of the entropy-regularized Wasserstein distance. The number of dual oracle calls, in this case, will also be less, i.e., the square root of the number of primal oracle calls. This explains the successful application of the first-order dual approaches for the Wasserstein barycenter problem.

研究动机与目标

• 开发用于计算离散概率测度Wasserstein均值的去中心化算法。
• 分析在给定精度下近似概率分布Fréchet均值所需的统计样本大小。
• 提出一种新型正则化技术，相比二次正则化可进一步改善复杂度界限。
• 在去中心化设置中，利用对偶和原始-对偶公式，建立最优通信和预言机复杂度。

提出的方法

• 利用熵正则化Wasserstein距离的对偶公式，该公式具有闭式梯度，支持高效的预言机访问。
• 由于强凸性带来的Lipschitz连续梯度，对对偶目标函数采用加速梯度下降。
• 对Wasserstein均值问题的非正则化鞍点公式应用镜像-近端算法。
• 通过引入权重矩阵的平方根 $\sqrt{W}$ 的变量变换，将原始-对偶问题转化为去中心化形式。
• 引入一个满足 $\sigma_{\psi}^{2}$-次高斯方差条件的随机对偶预言机，以建模去中心化设置中的噪声梯度估计。
• 基于 $\chi(W)$（通信图的条件数）推导复杂度界限，建立最优通信和预言机复杂度。

实验结果

研究问题

• RQ1 熵正则化Wasserstein距离的对偶公式是否能比原始方法更高效地实现去中心化均值计算？
• RQ2 在去中心化网络中，计算Wasserstein均值所需的最优通信轮数和预言机调用次数是多少？
• RQ3 所提出的正则化方法相比二次正则化如何改善收敛复杂度？
• RQ4 通过镜像-近端方法实现的鞍点公式是否能在非正则化Wasserstein均值的去中心化设置中实现最优复杂度？
• RQ5 随机梯度对去中心化Wasserstein均值计算中的通信和预言机复杂度有何影响？

主要发现

• 对偶公式实现了 $\widetilde{O}\left(\sqrt{\frac{L}{\gamma}\chi(W)}\right)$ 轮通信和预言机调用，与已知下界相比仅差对数因子。
• 对偶预言机调用次数降低为原始预言机调用次数的平方根，显著提升了效率。
• 由于强凸性，对偶目标函数具有Lipschitz连续梯度，因此可使用具有最优迭代复杂度的加速梯度方法。
• 在随机情况下，每个节点的预言机调用次数被限制在 $\widetilde{O}\left(\max\left\{\frac{M^{2}\sigma_{\psi}^{2}}{\varepsilon^{2}}\chi(W), \sqrt{\frac{L}{\gamma}\chi(W)}\right\}\right)$，这是在具有最优通信步长的方法类中达到最优的。
• 所提方法在确定性和随机设置下均实现了最优复杂度，其界限与已知下界相比仅差对数因子。
• 通过镜像-近端方法实现的鞍点公式支持去中心化实现，具备最优收敛速率和紧密的复杂度界限。