[論文レビュー] A Sharp Estimate on the Transient Time of Distributed Stochastic Gradient Descent

Shi Pu, Alex Olshevsky+1 more|arXiv (Cornell University)|Jun 6, 2019

Stochastic Gradient Optimization Techniques参考文献 61被引用数 33

ひとこと要約

本論文はノイズのある勾配を用いてネットワーク全体の平均コストを最小化するためのDSGDを分析し、到達する漸近的速さへ到達するまでの過渡時間は Theta(n/(1-ρ_w)^2) であることを証明し、難しい問題を構築して鋭さを示す。

ABSTRACT

This paper is concerned with minimizing the average of $n$ cost functions over a network in which agents may communicate and exchange information with each other. We consider the setting where only noisy gradient information is available. To solve the problem, we study the distributed stochastic gradient descent (DSGD) method and perform a non-asymptotic convergence analysis. For strongly convex and smooth objective functions, DSGD asymptotically achieves the optimal network independent convergence rate compared to centralized stochastic gradient descent (SGD). Our main contribution is to characterize the transient time needed for DSGD to approach the asymptotic convergence rate, which we show behaves as $K_T=\mathcal{O}\left(\frac{n}{(1-ρ_w)^2} ight)$, where $1-ρ_w$ denotes the spectral gap of the mixing matrix. Moreover, we construct a "hard" optimization problem for which we show the transient time needed for DSGD to approach the asymptotic convergence rate is lower bounded by $Ω\left(\frac{n}{(1-ρ_w)^2} ight)$, implying the sharpness of the obtained result. Numerical experiments demonstrate the tightness of the theoretical results.

研究の動機と目的

• ノイズのある勾配情報を用いて局所的に強凸で滑らかなコストの平均を最小化するエージェントを含む分散最適化を動機づける。
• DSGDの非漸近的収束解析を提供し、それが漸近的に中央集約型 SGD と一致することを示す。
• DSGD が最適収束速度を達成するための過渡時間を特徴付ける。
• 過渡時間境界の鋭さを裏付ける下界を確立する。
• 一般的なトポロジーで数値実験による結果を示す。

提案手法

• 更新式 x_i(k+1) = sum_j w_ij (x_j(k) - α_k g_j(k)) を用いるDSGDを研究する。
• すべての f_i に対し μ-強凸性と L-リプシッツ連続性の勾配を仮定する。
• 最適化誤差 U(k) と合意誤差 V(k) の非漸近的境界を導出する。
• ステップサイズ方針 α_k = θ/(μ(k+K)) を導入し、収束を保証する K を決定する。
• 過渡時間 K_T = O(n/(1−ρ_w)^2) の上界を証明する。
• 一致する下界 Ω(n/(1−ρ_w)^2) を確立するための難しい問題を構築する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある勾配の下で、強凸かつ滑らかな目的関数に対するDSGDの非漸近的収束速度はどの程度か？
• RQ2 DSGDが漸近的でネットワークに依存しない収束速度に到達するまでの反復回数はどれくらいか？
• RQ3 最適な速さを達成するための過渡時間境界は鋭いか？
• RQ4 スペクトルギャップ(1−ρ_w) のようなネットワーク特性と問題サイズ n が収束と合意にどのように影響するか？
• RQ5 一般的なトポロジーで数値実験は理論的な過渡時間境界を確認しているか？

主な発見

• DSGDは漸近的にネットワーク依存性のない最適な収束速度を、中央集約型 SGD に対して達成する。
• この速さに到達する過渡時間は、特定の条件下で O(n/(1−ρ_w)^2) にスケールする。
• 過渡時間の一致する Ω(n/(1−ρ_w)^2) の下界を示す難しい最適化問題を構築する。
• 環状ネットワークと正方格子トポロジーでの数値実験は理論結果の達成性を裏付ける。
• 解析は過渡時間を混合行列のスペクトルギャップと問題/アルゴリズムのパラメータに結びつける。