[論文レビュー] Local SGD With a Communication Overhead Depending Only on the Number of Workers

Artin Spiridonoff, Alex Olshevsky+1 more|arXiv (Cornell University)|Jun 3, 2020

Advanced MIMO Systems Optimization参考文献 36被引用数 12

ひとこと要約

本稿では、Local SGDのための新規通信戦略を提案する。この戦略は、合計反復回数Tに依存しないΩ(n)回の通信ラウンドで線形スケーリングを達成し、収束誤差を1/(nT)のスケーリングに保つ。初期段階で通信間隔を動的に延長し、後期に短縮することで、残差誤差を最小化するとともに通信オーバーヘッドを著しく削減し、従来の方法（多対数的または√T回の通信が必要）を上回る。

ABSTRACT

We consider speeding up stochastic gradient descent (SGD) by parallelizing it across multiple workers. We assume the same data set is shared among $n$ workers, who can take SGD steps and coordinate with a central server. Unfortunately, this could require a lot of communication between the workers and the server, which can dramatically reduce the gains from parallelism. The Local SGD method, proposed and analyzed in the earlier literature, suggests machines should make many local steps between such communications. While the initial analysis of Local SGD showed it needs $Ω( \sqrt{T} )$ communications for $T$ local gradient steps in order for the error to scale proportionately to $1/(nT)$, this has been successively improved in a string of papers, with the state-of-the-art requiring $Ω\left( n \left( \mbox{ polynomial in log } (T) ight) ight)$ communications. In this paper, we give a new analysis of Local SGD. A consequence of our analysis is that Local SGD can achieve an error that scales as $1/(nT)$ with only a fixed number of communications independent of $T$: specifically, only $Ω(n)$ communications are required.

研究の動機と目的

• 多くのワーカーにわたるスケーリングにおいて、特に通信コストが高い分散SGDの課題を解決すること。
• 通信スケジューリングがLocal SGDにおける収束誤差に与える影響を分析すること。
• 最小限の通信ラウンドで最適な誤差スケーリングを達成する通信戦略を設計すること。
• 合計反復回数Tに依存しない通信回数Ω(n)で、ワーカー数に応じた線形スケーリングが達成可能であることを示すこと。
• 従来の方法がΩ(√T)またはΩ(n poly-log(T))の通信ラウンドを必要としていたのを改善すること。

提案手法

• 通信間隔を反復インデックスに線形に増加させる動的通信間隔戦略を提案：H_i = 3(i+1)。
• 非i.i.d.および非同一分布データを含む一般のノイズモデル下でのLocal SGDを分析。
• 局所的更新と通信遅延によって生じる残差誤差を制限するための新しい理論枠組みを導入。
• 強い凸性と滑らかさの下で、誤差がnにのみ依存しTに依存しない1/(nT)のスケーリングで収束速度を導出。
• 勾配が大きくステップサイズが高い初期段階で頻繁な平均化を優先する通信スケジュールを導入。
• 安定性と収束を保証するためのステップサイズ列η_t = 2/(μ(t+β))を採用。

実験結果

リサーチクエスチョン

• RQ1 通信ラウンド数がTに依存しない条件下で、Local SGDが1/(nT)の最適誤差スケーリングを達成できるか？
• RQ2 残差誤差を最小化しつつ通信オーバーヘッドを低減する通信スケジューリング戦略は何か？
• RQ3 通信頻度の選択が非凸および強い凸設定における収束に与える影響は何か？
• RQ4 通信回数をΩ(n)に制限しても、ワーカー数に応じた線形スケーリングが達成可能か？（多対数的または√T回の通信が必要な従来手法と比較して）
• RQ5 固定間隔または増加間隔と比較して、動的通信間隔戦略が最終誤差および通信効率において優れているか？

主な発見

• 提案された通信戦略は、合計反復回数Tに依存しないΩ(n)回の通信ラウンドで、誤差率O(1/(nT))を達成する。
• 通信が制限されている状況でも、固定間隔および従来の増加間隔戦略よりも、過渡誤差および最終誤差の両面で優れた性能を示す。
• 数値実験により、R = n回の通信で、異なるネットワークサイズにおいてもLocal SGDが線形スケーリングを達成し、理論的最適レートσ²/(μnT)と一致することが確認された。
• 動的戦略H_i = 3(i+1)は、勾配が大きい初期段階で通信頻度を高めるため、固定間隔よりも初期段階の誤差をより効果的に低減する。
• ワンショット平均化よりも通信効率が高く、初期段階での通信利点は大きいが、最終誤差が高くなるという欠点を克服している。
• 特殊ケース（定数H）においても、最先端の収束レートを回復するが、広範なノイズモデルに適用可能な一般化可能な枠組みを提供している。