[论文解读] Decentralized Langevin Dynamics

Vyacheslav Kungurtsev|arXiv (Cornell University)|Jan 2, 2020

Markov Chains and Monte Carlo Methods参考文献 11被引用 6

一句话总结

该论文提出了一种去中心化的朗之万动力学算法，用于在具有本地数据的代理网络中从后验分布进行采样，采用对等通信机制。在递减步长和强凸性假设下，建立了理论收敛速率：在 Wasserstein 距离下为 $O(1/k^{1/2})$，在 $L^2$ 范数下趋同于一致性的速率为 $O(1/k^{1/2-\gamma})$。

ABSTRACT

Langevin MCMC gradient optimization is a class of increasingly popular methods for estimating a posterior distribution. This paper addresses the algorithm as applied in a decentralized setting, wherein data is distributed across a network of agents which act to cooperatively solve the problem using peer-to-peer gossip communication. We show, theoretically, results in 1) the time-complexity to $ε$-consensus for the continuous time stochastic differential equation, 2) convergence rate in $L^2$ norm to consensus for the discrete implementation as defined by the Euler-Maruyama discretization and 3) convergence rate in the Wasserstein metric to the optimal stationary distribution for the discretized dynamics.

研究动机与目标

• 将朗之万 MCMC 采样扩展至数据在具有本地访问权限的代理之间分布的去中心化网络。
• 分析在对等通信和本地梯度访问条件下，去中心化朗之万动力学的收敛特性。
• 在分布式设置下，建立关于一致性和收敛至目标后验分布的理论保证。
• 量化在 $L^2$ 范数（一致性）和 Wasserstein 度量（平稳分布）下的收敛速率。

提出的方法

• 将去中心化系统建模为通过无向、强连通图连接的 $m$ 个代理，其权重矩阵 $\mathbf{W}$ 为双随机矩阵。
• 提出一个连续时间 SDE：$dX^{(i)}_t = -\sum_{j\in\mathcal{N}_i\cup\{i\}} \mathbf{L}_{ij}X^{(j)}_t dt - \alpha(t)\nabla u_i(X^{(i)}_t) dt + \sqrt{2\sigma\alpha(t)} dB^{(i)}_t$。
• 使用递减步长 $\alpha_k = 1/(1+k)$ 的 Euler-Maruyama 格式对 SDE 进行离散化。
• 分析平均过程 $\bar{X}_k$，并通过时间尺度变换和扩散近似证明其收敛至 $U(x)$ 的最小值点。
• 使用李雅普诺夫函数和递归不等式，界定一致性和平均过程之间 $L^2$ 误差的上界。
• 应用引理 3.1，在递减步长条件下推导收敛速率，利用逆时间尺度变换和布朗运动的尺度不变性。

实验结果

研究问题

• RQ1 在 $L^2$ 范数下，去中心化朗之万动力学趋同于一致性的收敛速率是多少？
• RQ2 离散时间过程在 Wasserstein 度量下收敛至平稳分布的速度有多快？
• RQ3 在连续时间 SDE 框架下，达到 $\epsilon$-一致性的复杂度时间是多少？
• RQ4 本地梯度差异性和网络拓扑如何影响去中心化采样中的收敛性？
• RQ5 标准朗之万 MCMC 的收敛速率是否能在去中心化、对等通信网络设置中得以保持？

主要发现

• 在给定假设下，连续时间去中心化朗之万 SDE 在时间 $O(\epsilon^{-1})$ 内实现 $\epsilon$-一致性。
• 在递减步长下，离散实现的 $L^2$ 范数下收敛至一致性的速率为 $O(1/k^{1/2-\gamma})$（对任意 $\gamma > 0$）。
• 当 $h_k = 1/k$ 时，平均过程的经验分布与目标后验分布之间的 Wasserstein 距离衰减速率为 $O(k^{-1/2})$。
• 对于常数步长 $h_k = h$，Wasserstein 误差有界于 $O(1)$，显式常数为 $\chi L (h d)^{1/2} / m$，其中 $\chi = 7\sqrt{2}/6$。
• 至一致性的 $L^2$ 误差收敛速率由涉及网络第二小特征值 $\beta = \lambda_2(\mathbf{L})$ 的递归不等式决定。
• 分析证实，在梯度利普希茨连续性和强凸性等温和假设下，去中心化朗之万动力学继承了集中式朗之万 MCMC 的收敛特性。