[論文レビュー] Adaptive Communication Strategies to Achieve the Best Error-Runtime Trade-off in Local-Update SGD

Jianyu Wang, Gauri Joshi|arXiv (Cornell University)|Oct 18, 2018

Distributed and Parallel Computing Systems被引用数 119

ひとこと要約

本論文は AdaComm を提案します。AdaComm はローカル更新 SGD の適応的通信戦略で、計算が疎な平均化から始め、通信を徐々に増やして誤差収束を速くし最終誤差を低く抑えます。実験では完全に同期的な SGD に比べて最大で約3倍の実行時間短縮を達成しつつ、同じ最終トレーニング損失を得ています。

ABSTRACT

Large-scale machine learning training, in particular distributed stochastic gradient descent, needs to be robust to inherent system variability such as node straggling and random communication delays. This work considers a distributed training framework where each worker node is allowed to perform local model updates and the resulting models are averaged periodically. We analyze the true speed of error convergence with respect to wall-clock time (instead of the number of iterations), and analyze how it is affected by the frequency of averaging. The main contribution is the design of AdaComm, an adaptive communication strategy that starts with infrequent averaging to save communication delay and improve convergence speed, and then increases the communication frequency in order to achieve a low error floor. Rigorous experiments on training deep neural networks show that AdaComm can take $3 \ imes$ less time than fully synchronous SGD, and still reach the same final training loss.

研究の動機と目的

• 分散 SGD（ローカル更新と定期的平均化を伴う）におけるエラーとウォールクロック時間の収束を動機づけ、分析する。
• 平均化頻度（τ）が各反復の実行時間とエラーの床に与える影響を定量化する。
• 実世界のトレーニングにおけるトレードオフを最適化する適応的通信方式（AdaComm）を開発する。
• τ と学習率の変化を伴う PASGD の理論的収束洞察を提供する。
• 現実的なシステム変動下での深層 CNN に対する AdaComm の実用的利点を示す。

提案手法

• 局所計算時間のばらつきとランダムな通信遅延の下で、PASGD の反復あたりの実行時間をモデル化する。
• τ の関数として PASGD の誤差-実行時間境界を導出し、最適な τ の式を導く。
• 境界に基づく誤差を最小化するよう、時間区間にトレーニングを分割し区間ごとに τ を選択する AdaComm を提案する。
• 未知の定数を必要としない現実的な τ 更新ルールを提供する（損失比ヒューリスティックを使用）。
• τ の減衰と適応的学習率の状況を含む分析を拡張する。
• CIFAR-10/100 データセットを用いた VGG-16 と ResNet-50 で AdaComm を実証する。

実験結果

リサーチクエスチョン

• RQ1 ローカル更新頻度 τ が PASGD の実ウォールクロック時間における真の収束速度にどのように影響するか？
• RQ2 時間とともに τ を変える適応的通信は、固定 τ の方式より誤差-実行時間のトレードオフの点で優れているか？
• RQ3 勾配ノルムの境界を最小化するための時間・データ・システム遅延に対する最適な τ は何か？
• RQ4 未知定数にアクセスせずに、実用的なヒューリスティックで AdaComm を実装するにはどうすればよいか？
• RQ5 適応的通信戦略は異なるネットワークアーキテクチャや学習率スケジュールに一般化できるか？

主な発見

• AdaComm は、訓練を進めるにつれて τ を減らすことで、初期は大きく、全体としてウォールクロック収束を速める。
• 理論的解析は、より大きな tau が各反復の実行時間を短くする一方で誤差の床を押し上げるトレードオフを示す。AdaComm は時間とともに tau を適応することでこれを緩和する。
• VGG-16 と ResNet-50 の実験では、AdaComm は完全に同期的な SGD に比べて最大約3倍の実行時間短縮を達成し、同じ最終トレーニング損失に到達する（いくつかの設定ではテスト精度も向上）。
• 単純化された定数の下で最適な τ* を特定する閉形式の表現が得られ、通信頻度の実用的適応を導く。
• AdaComm は学習率スケジュールと組み合わせ可能で、関連する通信効率 SGD フレームワークにも適用可能である。