[論文レビュー] Minibatch vs Local SGD for Heterogeneous Distributed Learning

Blake Woodworth, Kumar Kshitij Patel+1 more|arXiv (Cornell University)|Jun 8, 2020

Stochastic Gradient Optimization Techniques参考文献 24被引用数 45

ひとこと要約

本論文は異種データを持つ分散環境と限られた通信条件下で Local SGD と Minibatch SGD を分析し、Minibatch SGD が概ね Local SGD を支配することを示し、加速された Minibatch SGD は高い異質性に対して最適で、Near-homogeneous（ほぼ同質）設定では Local SGD の改善がわずかに見られる可能性に言及する。

ABSTRACT

We analyze Local SGD (aka parallel or federated SGD) and Minibatch SGD in the heterogeneous distributed setting, where each machine has access to stochastic gradient estimates for a different, machine-specific, convex objective; the goal is to optimize w.r.t. the average objective; and machines can only communicate intermittently. We argue that, (i) Minibatch SGD (even without acceleration) dominates all existing analysis of Local SGD in this setting, (ii) accelerated Minibatch SGD is optimal when the heterogeneity is high, and (iii) present the first upper bound for Local SGD that improves over Minibatch SGD in a non-homogeneous regime.

研究の動機と目的

• 分散トレーニングを、データが限られた通信条件下で異種のマシンに分散されている状況で動機づける。
• 異種設定における Minibatch SGD と Local SGD の収束保証を比較する。
• Local SGD が Minibatch SGD を上回る／上回らない可能性のある領域を特徴づける。
• 加速が有効な場合とそうでない場合を示す精緻な解析を提供する。
• 異質性に対して新手法が必要となる領域を特定する。

提案手法

• M 台のマシンと局所目的 F_m および平均目的 F を用いた異質分散最適化設定を定義する。
• Minibatch SGD 勾配の unbiasedness（無偏性）と分散を分析し、異質性指標 zeta_* に依存しない収束境界を導出する。
• 加速された Minibatch SGD の境界を提供し、凸/強凸仮定の下で標準的な Minibatch SGD と同等またはそれを上回ることを示す。
• 異質設定における既存の Local SGD 分析を示し、限界を示す下界を導出する。
• Near-homogeneous な領域で Local SGD の改善を回復させるための改良された異質性指標 bar(zeta)^2 を導入する。
• Minibatch と Local SGD の間を補間するデュアル・ステップサイズ・フレームワーク（ inner/outer step sizes）を示し、最適に選択された場合に保証を改善する。

実験結果

リサーチクエスチョン

• RQ1 限られた通信条件下の異質分散学習で、Local SGD は Minibatch SGD を上回るのか？
• RQ2 異質性（zeta_* および bar(zeta)）は Local SGD と Minibatch SGD の相対性能にどのように影響するか？
• RQ3 高度に異質な設定で加速された Minibatch SGD は最適か？
• RQ4 Near-homogeneous な領域で、条件付きで Local SGD が Minibatch SGD より改善をもたらす場合はどの条件か？
• RQ5 inner/outer step sizes による補間は両手法のギャップを埋めることができるか？
• RQ6 この設定における分散ゼロ尊重アルゴリズムの基本的な下界は何か？

主な発見

• Minibatch SGD と Accelerated Minibatch SGD は、異質性指標 zeta_* に依存しない収束境界を達成し、データの異質性に対して不変である。
• 異質な設定では、非常に近い同質性の領域を除き、既存の Local-SGD 分析は Minibatch SGD を上回れず、十分に大きな異質性では Local-SGD は厳密に劣る。
• 改良された異質性指標 bar(zeta)^2 は near-homogeneous な状況で Local SGD が Minibatch SGD を上回ることを可能にし、これがそのような初めての結果を表す。
• 中程度の高い異質性に対して加速された Minibatch SGD が最適であり、多くの領域で下界により Local SGD の改善が阻止される。
• 分散ゼロ尊重アルゴリズムの下界は、Large heterogeneity では Accelerated Minibatch SGD が最適であり、bar(zeta)^2 が小さい場合のみ改善の可能性があることを示す。一方、中位の異質性レベルには明確なギャップが残る。