[论文解读] A Sharp Estimate on the Transient Time of Distributed Stochastic Gradient Descent

Shi Pu, Alex Olshevsky+1 more|arXiv (Cornell University)|Jun 6, 2019

Stochastic Gradient Optimization Techniques参考文献 61被引用 33

一句话总结

本论文分析在有噪声梯度的网络中使用分布式随机梯度下降（DSGD）来最小化平均成本，证明达到渐近速率的瞬态时间为 Theta(n/(1-ρ_w)^2) ，并通过构造的困难问题显示其尖锐性。

ABSTRACT

This paper is concerned with minimizing the average of $n$ cost functions over a network in which agents may communicate and exchange information with each other. We consider the setting where only noisy gradient information is available. To solve the problem, we study the distributed stochastic gradient descent (DSGD) method and perform a non-asymptotic convergence analysis. For strongly convex and smooth objective functions, DSGD asymptotically achieves the optimal network independent convergence rate compared to centralized stochastic gradient descent (SGD). Our main contribution is to characterize the transient time needed for DSGD to approach the asymptotic convergence rate, which we show behaves as $K_T=\mathcal{O}\left(\frac{n}{(1-ρ_w)^2} ight)$, where $1-ρ_w$ denotes the spectral gap of the mixing matrix. Moreover, we construct a "hard" optimization problem for which we show the transient time needed for DSGD to approach the asymptotic convergence rate is lower bounded by $Ω\left(\frac{n}{(1-ρ_w)^2} ight)$, implying the sharpness of the obtained result. Numerical experiments demonstrate the tightness of the theoretical results.

研究动机与目标

• 激发分布式优化，其中智能体在带有噪声梯度信息的条件下最小化局部强凸、光滑成本的平均值。
• 提供 DSGD 的非渐近收敛分析，并证明其在渐近上与集中式 SGD 相匹配。
• 刻画 DSGD 达到最优收敛速率的瞬态时间。
• 建立下界以证明瞬态时间界的尖锐性。
• 在常见拓扑上通过数值实验展示结果。

提出的方法

• 研究 DSGD 的更新规则 x_i(k+1) = ∑_j w_ij (x_j(k) - α_k g_j(k)).
• 对所有 f_i，假设 μ-强凸性和 L-Lipschitz 梯度。
• 推导优化误差 U(k) 和一致性误差 V(k) 的非渐近界限。
• 引入步长策略 α_k = θ/(μ(k+K)) 并确定 K 以确保收敛。
• 证明瞬态时间 K_T 的上界为 O(n/(1−ρ_w)^2)。
• 构造一个困难问题以建立匹配的下界 Ω(n/(1−ρ_w)^2)。

实验结果

研究问题

• RQ1 在带有噪声梯度的情况下，强凸且光滑目标的 DSGD 的非渐近收敛速率是多少？
• RQ2 DSGD 需要多少次迭代才能达到渐近的、与网络无关的收敛速率？
• RQ3 达到最优速率所需的瞬态时间界是否尖锐？
• RQ4 网络特性（如谱间隙 1−ρ_w）和问题规模 n 如何影响收敛与一致性？
• RQ5 数值实验是否在常见拓扑上验证了理论瞬态时间界？

主要发现

• 与集中式 SGD 相比，DSGD 在渐近上实现了最优的网络无关收敛速率。
• 达到该速率的瞬态时间在某些条件下的尺度为 O(n/(1−ρ_w)^2)。
• 构造了一个困难的优化问题，显示瞬态时间的下界为 Ω(n/(1−ρ_w)^2)。
• 经验证的数值实验在环形和方格拓扑上显示理论结果的紧密性。
• 分析将瞬态时间与混合矩阵的谱间隙以及问题/算法参数联系起来。