[论文解读] Improving the Transient Times for Distributed Stochastic Gradient Methods

Kun Huang, Shi Pu|arXiv (Cornell University)|May 11, 2021

Distributed Control Multi-Agent Systems参考文献 35被引用 5

一句话总结

该论文提出EDAS，一种基于精确扩散（Exact Diffusion）和NIDS的分布式随机梯度方法，其在强凸且光滑目标函数下的瞬态时间（transient time）达到目前已知的最短水平，为$\mathcal{O}\left(\frac{n}{1-\lambda_2}\right)$。该方法在保持与集中式SGD相同的渐近收敛速率的同时，显著缩短了达到该速率的时间，在网络依赖性瞬态性能方面优于先前的DSGD等方法。

ABSTRACT

We consider the distributed optimization problem where $n$ agents each possessing a local cost function, collaboratively minimize the average of the $n$ cost functions over a connected network. Assuming stochastic gradient information is available, we study a distributed stochastic gradient algorithm, called exact diffusion with adaptive stepsizes (EDAS) adapted from the Exact Diffusion method and NIDS and perform a non-asymptotic convergence analysis. We not only show that EDAS asymptotically achieves the same network independent convergence rate as centralized stochastic gradient descent (SGD) for minimizing strongly convex and smooth objective functions, but also characterize the transient time needed for the algorithm to approach the asymptotic convergence rate, which behaves as $K_T=\mathcal{O}\left(\frac{n}{1-λ_2} ight)$, where $1-λ_2$ stands for the spectral gap of the mixing matrix. To the best of our knowledge, EDAS achieves the shortest transient time when the average of the $n$ cost functions is strongly convex and each cost function is smooth. Numerical simulations further corroborate and strengthen the obtained theoretical results.

研究动机与目标

• 减少瞬态时间——即分布式算法达到其渐近收敛速率之前的迭代次数——在分布式随机优化中的影响。
• 开发一种分布式随机梯度方法，实现与集中式SGD相当的网络无关收敛速率，同时最小化达到该收敛区间的用时。
• 分析所提算法在随机梯度及强凸、光滑目标函数下的非渐近收敛行为。
• 建立比现有方法更紧致的瞬态时间理论边界，尤其针对一般无向网络。

提出的方法

• 提出EDAS（精确扩散自适应步长），一种基于精确扩散和NIDS的分布式随机梯度算法，专为本地代理在最小化全局平均目标函数的网络中设计。
• 引入依赖于本地梯度方差和网络拓扑的自适应步长，以稳定收敛并加速瞬态行为。
• 在混合矩阵的特征分解所定义的变换空间中，采用线性系统模型来分析收敛动力学。
• 使用李雅普诺夫函数$H_k = M_k + \theta c^2 T_k$，通过精心选择参数来界定期望误差并推导瞬态时间边界。
• 利用系统矩阵的谱特性，通过$\lambda_2$（即混合矩阵的第二大特征值）来刻画网络依赖性。
• 推导关键量如$\|U_L\|_2$、$\|U_R\|_2$和$\|Z^{-1}\|_2$的边界，以控制误差放大并确保稳定性。

实验结果

研究问题

• RQ1 在受限于网络的条件下，用于最小化强凸且光滑目标函数的分布式随机梯度方法所能达到的最小瞬态时间是多少？
• RQ2 能否使分布式算法在达到与集中式SGD相同的渐近收敛速率的同时，显著缩短达到该速率的时间？
• RQ3 网络拓扑，特别是谱隙$1 - \lambda_2$，如何影响分布式随机梯度方法的瞬态时间？
• RQ4 在分布式随机优化中，自适应步长是否能相比常数步长改善瞬态行为？

主要发现

• EDAS在强凸且光滑目标函数下实现了与集中式SGD相同的渐近收敛速率，确保长期网络无关性能。
• EDAS的瞬态时间被限制在$\mathcal{O}\left(\frac{n}{1 - \lambda_2}\right)$，是现有分布式随机梯度方法中已知最短的瞬态时间。
• 对于环形图及其他一般无向网络（其中$1 - \lambda_2 = \mathcal{O}(n^{-1})$），瞬态时间呈$\mathcal{O}(n^2)$量级，显著优于DSGD的$\mathcal{O}(n^5)$瞬态时间。
• 理论瞬态时间边界通过数值实验得到验证，表明EDAS比现有方法更快收敛至渐近收敛区间。
• 分析表明，瞬态时间主要受网络谱隙$1 - \lambda_2$的控制，网络连接越紧密，收敛越快。
• EDAS中的自适应步长有助于稳定迭代过程并缩短瞬态阶段，尤其在连接较差或高维设置下表现更优。