[論文レビュー] A Non-Asymptotic Analysis of Network Independence for Distributed Stochastic Gradient Descent

Alex Olshevsky, Ioannis Ch. Paschalidis+1 more|arXiv (Cornell University)|Jun 6, 2019

Stochastic Gradient Optimization Techniques参考文献 36被引用数 15

ひとこと要約

本稿は、ノイズのある勾配を持つネットワークにおける分散型確率的勾配降下法（DSGD）の非漸近的収束解析を提供する。DSGDが強い凸性および滑らかさを満たす関数に対して、ネットワークに依存しない最適な収束レートを達成することを確立し、収束時間は $\mathcal{O}(n / (1 - \rho_w)^2)$ に比例する。ここで $\rho_w$ は混合行列のスペクトル半径を表す。

ABSTRACT

This paper is concerned with minimizing the average of $n$ cost functions over a network, in which agents may communicate and exchange information with their peers in the network. Specifically, we consider the setting where only noisy gradient information is available. To solve the problem, we study the standard distributed stochastic gradient descent (DSGD) method and perform a non-asymptotic convergence analysis. For strongly convex and smooth objective functions, we not only show that DSGD asymptotically achieves the optimal network independent convergence rate compared to centralized stochastic gradient descent (SGD), but also explicitly identify the non-asymptotic convergence rate as a function of characteristics of the objective functions and the network. Furthermore, we derive the time needed for DSGD to approach the asymptotic convergence rate, which behaves as $K_T=\mathcal{O}(\frac{n}{(1- ho_w)^2})$, where $(1- ho_w)$ denotes the spectral gap of the mixing matrix of communicating agents.

研究の動機と目的

• ネットワーク化されたシステムにおける分散型確率的勾配降下法（DSGD）の非漸近的収束挙動を分析すること。
• ノイズのある勾配が存在する状況でも、DSGDが中央集権的SGDと同等の収束レートを達成するかどうかを特定すること。
• DSGDがその漸近的収束レートに近づくまでの時間を定量化すること。
• 収束速度がネットワークトポロジーおよび目的関数の性質にどのように依存するかを特徴付けること。
• 混合行列の固有値ギャップが収束ダイナミクスを決定する役割を特定すること。

提案手法

• 分析は、ノイズのある勾配情報のみを用いて $n$ 個のコスト関数の平均を最小化するエージェントのネットワークに焦点を当てる。
• 強い凸性および滑らかさを満たす目的関数に対して、非漸近的収束レートを導出する。
• 収束レートは、目的関数の条件数、勾配ノイズの分散、および混合行列の固有値ギャップの関数として表現される。
• 漸近的収束レートに到達するまでの時間を分析し、$\mathcal{O}(n / (1 - \rho_w)^2)$ に比例することが示された。ここで $\rho_w$ は混合行列のスペクトル半径を表す。
• マコフ連鎖理論および行列集中の道具を用いて、分散平均化と勾配降下ステップにおける誤差を評価する。
• この手法は、最適化誤差とネットワーク通信誤差の影響を収束バウンド内で明確に分離する。

実験結果

リサーチクエスチョン

• RQ1 ノイズのある勾配が存在する状況でも、分散型確率的勾配降下法（DSGD）は中央集権的SGDと同等の非漸近的収束レートを達成するか？
• RQ2 混合行列の固有値ギャップによって表されるネットワークトポロジーは、DSGDの収束時間にどのように影響するか？
• RQ3 収束レートが条件数および勾配ノイズ分散にどのように明示的に依存するか？
• RQ4 DSGDがその漸近的収束レートに近づき始めるのはどの時点か？
• RQ5 長期間にわたり、DSGDの収束行動はネットワークサイズに依存せずに特徴付けられるか？

主な発見

• DSGDは、強い凸性および滑らかさを満たす関数に対して、ネットワークに依存しない最適な収束レートを達成し、中央集権的SGDのレートと一致する。
• 非漸近的収束レートは、条件数、勾配ノイズ分散、および混合行列の固有値ギャップの観点から明示的に特徴付けられる。
• DSGDがその漸近的収束レートに近づくために要する時間は、$\mathcal{O}(n / (1 - \rho_w)^2)$ に比例する。ここで $\rho_w$ は混合行列のスペクトル半径を表す。
• 漸近的領域において、収束レートはネットワークサイズに依存しないことが確認され、ネットワーク独立性が裏付けられる。
• 固有値ギャップ $1 - \rho_w$ は、アルゴリズムが最適なレートにどのくらい速く収束するかを決定する上で極めて重要な役割を果たす。
• 分析により、目的関数が強い凸性および滑らかさを満たす限り、DSGDはノイズのある勾配情報下でも最適な性能を維持することが確認された。