[论文解读] Decentralized Markov Chain Gradient Descent

Tao Sun, Dongsheng Li|arXiv (Cornell University)|Sep 23, 2019

Stochastic Gradient Optimization Techniques参考文献 39被引用 7

一句话总结

该论文提出了一种去中心化的马尔可夫链梯度下降（DMGD）算法，用于在去中心化网络中进行非凸随机优化，具有样本效率和通信效率高的特点。通过利用马尔可夫链采样生成梯度，并在邻居间进行本地平均，DMGD 实现了依赖于网络拓扑和马尔可夫链混合时间的非遍历性与遍历性收敛速率，具有理论保证并得到了实验验证，证明了其在样本效率方面的优势。

ABSTRACT

Decentralized stochastic gradient method emerges as a promising solution for solving large-scale machine learning problems. This paper studies the decentralized Markov chain gradient descent (DMGD) algorithm - a variant of the decentralized stochastic gradient methods where the random samples are taken along the trajectory of a Markov chain. This setting is well-motivated when obtaining independent samples is costly or impossible, which excludes the use of the traditional stochastic gradient algorithms. Specifically, we consider the first- and zeroth-order versions of decentralized Markov chain gradient descent over a connected network, where each node only communicates with its neighbors about intermediate results. The nonergodic convergence and the ergodic convergence rate of the proposed algorithms have been rigorously established, and their critical dependences on the network topology and the mixing time of Markov chain have been highlighted. The numerical tests further validate the sample efficiency of our algorithm.

研究动机与目标

• 解决在去中心化机器学习中从复杂或未知分布中采样时，i.i.d. 采样不可行或成本过高的挑战。
• 设计一种无需中心聚合中心的去中心化优化算法，以减少通信开销。
• 通过使用马尔可夫链生成的样本替代独立同分布样本，实现在独立样本生成成本高昂的场景下的高效训练。
• 为非遍历性和遍历性迭代在非凸设置下的收敛性提供理论保证。
• 突出收敛速率对网络连通性与马尔可夫链混合时间的依赖关系。

提出的方法

• 提出一种去中心化的马尔可夫链梯度下降（DMGD）算法，其中每个节点沿马尔可夫链轨迹生成样本，而非独立同分布样本。
• 在连通网络中使用本地平均，每个节点仅与邻居通信以更新参数。
• 在每个节点引入一个时齐马尔可夫链，其平稳分布与目标分布一致，确保渐近平稳性。
• 利用一种新颖的步长规则和延迟梯度追踪机制，以处理马尔可夫链样本的非i.i.d. 性质。
• 通过利用马尔可夫链的混合时间特性和网络一致性误差的性质，对梯度期望范数进行有界分析，从而建立收敛性。
• 应用马尔可夫链理论（如总变差距离界）和去中心化优化分析的理论工具，推导出收敛速率。

实验结果

研究问题

• RQ1 当样本通过马尔可夫链而非独立同分布抽样生成时，去中心化优化算法是否仍能实现收敛？
• RQ2 马尔可夫链的混合时间如何影响去中心化梯度下降的收敛速率？
• RQ3 网络拓扑结构——特别是混合矩阵的次大特征值——对去中心化马尔可夫链梯度下降的收敛性有何影响？
• RQ4 当马尔可夫链混合时间较长时，算法是否仍能保持样本效率，避免在每次迭代中重复再生链？
• RQ5 非遍历性和遍历性收敛速率如何随网络规模和马尔可夫链特性而变化？

主要发现

• DMGD 算法实现了 $\mathcal{O}\left(\frac{1}{(k+1)^\theta}\right)$ 的非遍历收敛速率，其中 $\theta$ 取决于步长规则。
• 遍历收敛速率被限制在 $\mathcal{O}\left(\frac{1}{\ln(1/\lambda(H)) \cdot (1 - \lambda_2(W)) \cdot (k+1)^\theta}\right)$，明确显示出对网络连通性和马尔可夫链混合时间的依赖。
• 收敛分析考虑了非i.i.d. 马尔可夫链样本引入的偏差，通过混合时间和链的平稳性对误差进行控制。
• 该算法避免在每次迭代中重新生成马尔可夫链，相比标准 SGD-$T$ 显著提升了样本效率。
• 数值结果验证了 DMGD 的样本效率，尤其在混合时间较长或采样访问受限的场景下表现突出。
• 理论边界表明，网络拓扑（通过 $\lambda_2(W)$ 表征）和马尔可夫链混合特性（通过 $\lambda(H)$ 表征）对收敛速度具有决定性影响。