[论文解读] A Non-Asymptotic Analysis of Network Independence for Distributed Stochastic Gradient Descent

Alex Olshevsky, Ioannis Ch. Paschalidis+1 more|arXiv (Cornell University)|Jun 6, 2019

Stochastic Gradient Optimization Techniques参考文献 36被引用 15

一句话总结

本文对具有噪声梯度的网络中分布式随机梯度下降（DSGD）提供了非渐近收敛分析。结果表明，DSGD 在强凸且光滑的目标函数下可实现最优的与网络无关的收敛速率，收敛时间呈 $\mathcal{O}(n / (1 - \rho_w)^2)$ 的增长，其中 $\rho_w$ 为混合矩阵的谱半径。

ABSTRACT

This paper is concerned with minimizing the average of $n$ cost functions over a network, in which agents may communicate and exchange information with their peers in the network. Specifically, we consider the setting where only noisy gradient information is available. To solve the problem, we study the standard distributed stochastic gradient descent (DSGD) method and perform a non-asymptotic convergence analysis. For strongly convex and smooth objective functions, we not only show that DSGD asymptotically achieves the optimal network independent convergence rate compared to centralized stochastic gradient descent (SGD), but also explicitly identify the non-asymptotic convergence rate as a function of characteristics of the objective functions and the network. Furthermore, we derive the time needed for DSGD to approach the asymptotic convergence rate, which behaves as $K_T=\mathcal{O}(\frac{n}{(1- ho_w)^2})$, where $(1- ho_w)$ denotes the spectral gap of the mixing matrix of communicating agents.

研究动机与目标

• 分析网络化系统中分布式随机梯度下降（DSGD）的非渐近收敛行为。
• 确定在存在噪声梯度的情况下，DSGD 是否能实现与集中式 SGD 相同的收敛速率。
• 量化 DSGD 接近其渐近收敛速率所需的时间。
• 刻画收敛速度对网络拓扑结构和目标函数特性的依赖关系。
• 阐明混合矩阵谱间隙在决定收敛动力学中的作用。

提出的方法

• 分析聚焦于一组代理通过仅使用噪声梯度信息来最小化 $n$ 个代价函数的平均值的网络。
• 推导了强凸且光滑目标函数的非渐近收敛速率。
• 收敛速率以目标函数的条件数、梯度噪声方差以及混合矩阵的谱间隙的函数形式表达。
• 分析了达到渐近收敛速率所需的时间，结果表明其随 $\mathcal{O}(n / (1 - \rho_w)^2)$ 增长，其中 $\rho_w$ 为混合矩阵的谱半径。
• 分析利用了马尔可夫链理论和矩阵集中不等式工具，以界定分布式平均和梯度下降步骤中的误差。
• 该方法明确区分了优化误差与网络通信误差在收敛界中的影响。

实验结果

研究问题

• RQ1 在存在噪声梯度的情况下，分布式随机梯度下降（DSGD）是否能实现与集中式 SGD 相同的非渐近收敛速率？
• RQ2 网络拓扑结构（通过混合矩阵的谱间隙捕捉）如何影响 DSGD 的收敛时间？
• RQ3 收敛速率对条件数和梯度噪声方差的显式依赖关系是什么？
• RQ4 DSGD 在何时开始趋近其渐近收敛速率？
• RQ5 DSGD 的收敛行为在长期是否可独立于网络规模进行表征？

主要发现

• DSGD 在强凸且光滑的目标函数下实现了最优的与网络无关的收敛速率，与集中式 SGD 的速率一致。
• 非渐近收敛速率以条件数、梯度噪声方差以及混合矩阵谱间隙的形式明确表征。
• DSGD 接近其渐近收敛速率所需的时间呈 $\mathcal{O}(n / (1 - \rho_w)^2)$ 的增长，其中 $\rho_w$ 为混合矩阵的谱半径。
• 在渐近状态下，收敛速率与网络规模无关，证实了其网络独立性。
• 谱间隙 $1 - \rho_w$ 在决定算法收敛至最优速率的速度方面起着关键作用。
• 分析结果证实，只要目标函数是强凸且光滑的，即使在梯度信息存在噪声的情况下，DSGD 仍能保持最优性能。