[論文レビュー] Improving the Transient Times for Distributed Stochastic Gradient Methods

Kun Huang, Shi Pu|arXiv (Cornell University)|May 11, 2021

Distributed Control Multi-Agent Systems参考文献 35被引用数 5

ひとこと要約

本稿では、Exact DiffusionとNIDSに基づく分散確率的勾配法EDASを提案する。これは、強い凸性と滑らかさを満たす目的関数に対して、既知の最短の遷移時間 $ϴ\left(\frac{n}{1-\lambda_2}\right)$ を達成する。中央集権的SGDと同等の漸近的収束速度を達成するとともに、その到達までの時間を著しく短縮し、DSGDなどの先行手法に比してネットワーク依存の遷移性能で優れる。

ABSTRACT

We consider the distributed optimization problem where $n$ agents each possessing a local cost function, collaboratively minimize the average of the $n$ cost functions over a connected network. Assuming stochastic gradient information is available, we study a distributed stochastic gradient algorithm, called exact diffusion with adaptive stepsizes (EDAS) adapted from the Exact Diffusion method and NIDS and perform a non-asymptotic convergence analysis. We not only show that EDAS asymptotically achieves the same network independent convergence rate as centralized stochastic gradient descent (SGD) for minimizing strongly convex and smooth objective functions, but also characterize the transient time needed for the algorithm to approach the asymptotic convergence rate, which behaves as $K_T=\mathcal{O}\left(\frac{n}{1-λ_2} ight)$, where $1-λ_2$ stands for the spectral gap of the mixing matrix. To the best of our knowledge, EDAS achieves the shortest transient time when the average of the $n$ cost functions is strongly convex and each cost function is smooth. Numerical simulations further corroborate and strengthen the obtained theoretical results.

研究の動機と目的

• 分散最適化における遷移時間（分散アルゴリズムが漸近的収束速度に達するまでの反復回数）を短縮すること。
• 中央集権的SGDと同等のネットワーク非依存の収束レートを達成する分散確率的勾配法を開発し、そのレートに到達するまでの時間を最小限に抑えること。
• 確率的勾配と強い凸性・滑らかさを満たす目的関数の下で、提案アルゴリズムの非漸近的収束挙動を分析すること。
• 既存手法よりもタイトな遷移時間の理論的境界を確立すること、特に一般の無向ネットワークに対して。

提案手法

• Exact DiffusionとNIDSを組み合わせた分散確率的勾配アルゴリズムEDAS（Exact Diffusion with Adaptive Stepsizes）を提案。局所エージェントがグローバル平均目的関数を最小化するネットワークを想定。
• 局所勾配の分散とネットワークトポロジーに依存する適応的ステップサイズを導入し、収束の安定性と遷移挙動の高速化を実現。
• 混合行列の固有値分解を用いて変換空間における線形システムモデルを構築し、収束ダイナミクスを分析。
• 期待誤差をバインドし、遷移時間の境界を導出するために、適切に選ばれたパrameterを用いたリャプノフ関数 $H_k = M_k + \theta c^2 T_k$ を採用。
• システム行列のスペクトル特性を $\lambda_2$（混合行列の2番目に大きな固有値）を用いて分析し、ネットワーク依存性を特徴付ける。
• 誤差増幅を制御し安定性を保証するため、$\|U_L\|_2$、$\|U_R\|_2$、$\|Z^{-1}\|_2$ などの主要な量の境界を導出。

実験結果

リサーチクエスチョン

• RQ1 強い凸性と滑らかさを満たす目的関数をネットワーク制約のもとで最小化する分散確率的勾配法が達成可能な最小の遷移時間は何か？
• RQ2 分散アルゴリズムは、中央集権的SGDと同等の漸近的収束速度を達成しつつ、そのレートに到達するまでの時間を著しく短縮できるか？
• RQ3 ネットワークトポロジー、特にスぺクトルギャップ $1 - \lambda_2$ は、分散確率的勾配法の遷移時間にどのように影響するか？
• RQ4 適応的ステップサイズは、定常ステップサイズと比較して、分散確率的最適化における遷移挙動を改善できるか？

主な発見

• EDASは、強い凸性と滑らかさを満たす目的関数に対して、中央集権的SGDと同等の漸近的収束速度を達成し、長期的にはネットワーク非依存の性能を保証する。
• EDASの遷移時間は $\mathcal{O}\left(\frac{n}{1 - \lambda_2}\right)$ で有界であり、既存の分散確率的勾配法の中で最も短い既知の遷移時間である。
• リンググラフや他の一般の無向ネットワーク（$1 - \lambda_2 = \mathcal{O}(n^{-1})$）では、遷移時間は $\mathcal{O}(n^2)$ にスケーリングされ、DSGDの $\mathcal{O}(n^5)$ に比べて顕著に改善される。
• 理論的遷移時間境界は数値的に妥当性が確認され、EDASが既存手法よりも漸近的領域への収束が速いことが示された。
• 分析から、遷移時間は主にネットワークのスぺクトルギャップ $1 - \lambda_2$ に支配されており、良好に接続されたネットワークでは収束が速いことが分かった。
• EDASにおける適応的ステップサイズは、反復の安定化と遷移フェーズの短縮に寄与し、特に接続性が低いまたは高次元の設定において顕著な効果を示す。