[論文レビュー] Local AdaAlter: Communication-Efficient Stochastic Gradient Descent with Adaptive Learning Rates

Cong Xie, Oluwasanmi Koyejo+2 more|arXiv (Cornell University)|Nov 20, 2019

Stochastic Gradient Optimization Techniques参考文献 44被引用数 21

ひとこと要約

本稿では、局所的SGDと遅延更新による適応的学習率を組み合わせることで、通信効率の高い確率的勾配降下法であるLocal AdaAlterを提案する。モデルパラメータは周期的に同期するが、適応的変数の更新は遅延させる。この手法により、通信オーバーヘッドが低減され、10億語のデータセットでは最大30%高速な学習が達成され、非凸問題に対しても理論的収束保証が得られる。

ABSTRACT

When scaling distributed training, the communication overhead is often the bottleneck. In this paper, we propose a novel SGD variant with reduced communication and adaptive learning rates. We prove the convergence of the proposed algorithm for smooth but non-convex problems. Empirical results show that the proposed algorithm significantly reduces the communication overhead, which, in turn, reduces the training time by up to 30% for the 1B word dataset.

研究の動機と目的

• 分散学習における高コストな通信オーバーヘッド、特にAdaGradのような適応的学習率手法を用いる場合の課題を解決すること。
• 通信ラウンドを遅延して適応的変数の更新を制御する新しいメカニズムを導入することで、適応的SGDにおける通信効率を向上させること。
• 滑らかで非凸な最適化問題に対する提案手法の収束を理論的に証明すること。
• 大規模分散環境における通信コストと学習時間の削減を実証的に検証すること。

提案手法

• 適応的変数$ B_t^2 $（歴史的勾配の累積）の更新を通信ラウンドまで遅延させるAdaGradの変種、Local AdaAlterを提案する。
• 複数ステップにわたり、各ワーカーが勾配を計算し、モデルパラメータを独立して更新する局所的更新戦略を導入する。
• ワーカー間でモデルパラメータを周期的に平均化するが、適応的変数は同期間隔でのみ更新する。
• 遅延度に配慮した更新ルールを採用し、適応的変数$ B_t^2 $は通信ラウンドでのみ更新され、通信頻度が低下する。
• 理論的分析により、標準的な滑らかさと勾配の有界性仮定のもとで非凸目的関数の収束を示す。
• 適応的学習率の利点を維持しつつ、同期頻度を顕著に低減できる。

実験結果

リサーチクエスチョン

• RQ1 AdaGradのような適応的学習率手法を局所的SGDと効果的に組み合わせることで、分散学習における通信オーバーヘッドを低減できるか？
• RQ2 非凸最適化において、適応的学習率を備えた局所的SGDの変種の理論的収束挙動はいかなるものか？
• RQ3 適応的変数の更新を遅延させることで、学習収束と通信効率にどのような影響を与えるか？
• RQ4 このアプローチは、大規模なNLPタスクにおける学習時間とモデル精度にどのような影響を与えるか？
• RQ5 実世界のデータセットにおいて、通信頻度を最大30%まで低減させながらも収束保証を維持できるか？

主な発見

• Local AdaAlterは、標準的な適応的SGDと比較して、通信オーバーヘッドを最大30%まで低減し、10億語のデータセットでは学習時間を顕著に短縮した。
• 理論的分析により、滑らかで非凸な問題に対して収束が保証され、収束速度は局所ステップ数と通信頻度に依存する。
• 適応的学習率の利点を維持しつつ、同期頻度を著しく低減できるため、大規模分散学習に適している。
• 実験的結果から、通信ラウンド数を減らしても同等またはより高いモデル精度が達成された。
• 収束バウンドは初期適応的変数$ b_0^2 $、学習率$ \eta $、局所ステップ数$ H $に依存し、明示的に$ \sqrt{b_0^2 + T \epsilon^2 / p^2} $に依存する。