[論文レビュー] Tighter Theory for Local SGD on Identical and Heterogeneous Data

Ahmed Khaled, Konstantin Mishchenko+1 more|arXiv (Cornell University)|Sep 10, 2019

Machine Learning and Algorithms参考文献 38被引用数 39

ひとこと要約

本論文は、同一データと異質データの両方に対するLocal SGDの新しい収束解析を提供し、より厳密な界、最適なステップサイズ、および局所更新回数の最適解を導出するとともに、異質データに適合した分散測度を提示する。

ABSTRACT

We provide a new analysis of local SGD, removing unnecessary assumptions and elaborating on the difference between two data regimes: identical and heterogeneous. In both cases, we improve the existing theory and provide values of the optimal stepsize and optimal number of local iterations. Our bounds are based on a new notion of variance that is specific to local SGD methods with different data. The tightness of our results is guaranteed by recovering known statements when we plug $H=1$, where $H$ is the number of local steps. The empirical evidence further validates the severe impact of data heterogeneity on the performance of local SGD.

研究の動機と目的

• 同一データと異質データのレジーム下でのLocal SGDの理解を深める。
• Local SGDの収束速度と通信を含む境界をより速く、より厳密に導出する。
• Local SGDの解析においてデータ異質性を捉える分散量を導入する。
• 異なるデータ設定における最適な同期間隔(H)とステップサイズの指針を提供する。

提案手法

• 同一データと異質データという二つのデータレジームでLocal SGDをモデル化し、対応する確率的勾配を定義する。
• 最適点での確率的性とデータ異質性を定量化する新しい分散量sigma_opt^2とsigma_dif^2を導入する。
• 平均化した反復の再発界を証明し、エポック平均からのずれV_tを分析する。
• 強凸性と凸性の下で、両方のデータレジームに対する反復複雑性と通信複雑性の結果を導く。
• Local SGDはHで制御される加法項の誤差まで minibatch SGD に一致することを示し、H=1またはH=Tのときに既知の結果を回復する。
• ロジスティック回帰で異質性の影響を示す実証検証を提供する。

実験結果

リサーチクエスチョン

• RQ1 制限的な仮定を置かずに、同一データ下でLocal SGDはどの収束速度を達成できるか？
• RQ2 データ異質性はLocal SGDの性能にどう影響するか、強い非同一性仮定なしでこの影響を定量化できるか？
• RQ3 両方のデータレジームで計算と通信のバランスを取る最適なステップサイズと同期間隔Hは何か？
• RQ4 新しい分散概念は異質性を正確に捉え、厳密で実用的な境界につながるか？

主な発見

• 強凸性を持つ同一データ設定では、Local SGDは反復複雑性を改善し、適切なHで線形スピードアップを示すことがある。
• 異質データ設定では、Local SGDはsigma_dif^2を介して異質性に比例する加法的誤差で収束し、真のデータ差を捉える。
• 最適点での確率性を表す新しい分散measure sigma_opt^2（同一データ）と sigma_dif^2（異質データ）を提案し、最適点とデータ多様性を定量化する。
• Hが大きいとone-shot averaging挙動を回復し、Hが追加誤差項をどう制御するかを示し、適切な調整で minibatch SGD の収束を回復できる。
• 実験的に、異質性は収束速度に著しく影響を与え、データ多様性がLocal SGDへ及ぼす理論的影響を検証している。