[論文レビュー] Leader Stochastic Gradient Descent for Distributed Training of Deep Learning Models

Yunfei Teng, Wenbo Gao+4 more|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用数 4

ひとこと要約

本稿では、分散型ディープラーニングのための通信効率の高い最適化手法であるリーダー確率的勾配降下法（LSGD）を提案する。この手法は、パラメータの平均化による収束問題や対称性のトラップを回避するため、最もパフォーマンスの良いワーカー（リーダー）のパラメータを用いて更新を誘導する。畳み込みニューラルネットワーク（CNN）において、通信負荷を低減しつつ最先端の性能を達成する。

ABSTRACT

We consider distributed optimization under communication constraints for training deep learning models. We propose a new algorithm, whose parameter updates rely on two forces: a regular gradient step, and a corrective direction dictated by the currently best-performing worker (leader). Our method differs from the parameter-averaging scheme EASGD in a number of ways: (i) our objective formulation does not change the location of stationary points compared to the original optimization problem; (ii) we avoid convergence decelerations caused by pulling local workers descending to different local minima to each other (i.e. to the average of their parameters); (iii) our update by design breaks the curse of symmetry (the phenomenon of being trapped in poorly generalizing sub-optimal solutions in symmetric non-convex landscapes); and (iv) our approach is more communication efficient since it broadcasts only parameters of the leader rather than all workers. We provide theoretical analysis of the batch version of the proposed algorithm, which we call Leader Gradient Descent (LGD), and its stochastic variant (LSGD). Finally, we implement an asynchronous version of our algorithm and extend it to the multi-leader setting, where we form groups of workers, each represented by its own local leader (the best performer in a group), and update each worker with a corrective direction comprised of two attractive forces: one to the local, and one to the global leader (the best performer among all workers). The multi-leader setting is well-aligned with current hardware architecture, where local workers forming a group lie within a single computational node and different groups correspond to different nodes. For training convolutional neural networks, we empirically demonstrate that our approach compares favorably to state-of-the-art baselines.

研究の動機と目的

• パラメータ同期の頻度と量を削減することで、分散型ディープラーニング学習における通信ボトル neck を解消すること。
• 異なる局所的最適解に閉じ込められたワーカーのパラメータを平均化することで生じる収束性能の低下を克服すること。
• 非凸な損失関数の地形における対称性を破り、劣悪な局所最適解への収束を回避すること。
• ローカルおよびグローバルリーダーを用いて、現代のマルチノードハードウェアアーキテクチャと整合するスケーラブルな最適化フレームワークを設計すること。
• EASGD や標準的な同期型SGDと比較して、学習効率とモデル性能を向上させること。

提案手法

• アルゴリズムは、現在最もパフォーマンスの良いワーカー（リーダー）のパラメータに基づく補正更新方向を、標準的な勾配ステップに加えて導入する。
• リーダーのパラメータが全ワーカーにブロードキャストされ、全パラメータの平均化と比較して通信コストを削減する。
• バッチ版であるリーダー勾配降下法（LGD）は、非凸設定下での収束を理論的に分析する。
• 確率的バージョンであるLSGDは、ミニバッチ学習への拡張を図り、理論的保証を有する。
• 学習スループットとスケーラビリティを向上させるために、非同期実装が開発された。
• 複数のリーダー拡張が導入され、各ノードごとにワーカーがグループ化され、それぞれにローカルリーダーが設けられ、ローカルおよびグローバルリーダーへの力の働きを介して更新が行われる。

実験結果

リサーチクエスチョン

• RQ1 通信制約下において、リーダーに基づく補正メカニズムは、分散型ディープラーニングの収束性と汎化性能を向上させ得るか？
• RQ2 パラメータ平均化と比較して、リーダーに基づく更新戦略は収束速度と最終的なモデル精度においてどのように異なるか？
• RQ3 リーダー機構は、非凸最適化の地形において対称性を効果的に破り、劣悪な局所最適解への収束を回避するか？
• RQ4 全ワーカーのパラメータではなく、リーダーのパラメータのみをブロードキャストすることで、通信効率が著しく向上し、モデル性能に悪影響を及げないか？
• RQ5 マルチリーダーアーキテクチャは、実世界のハードウェアとどのように整合し、複数ノードにわたるスケーリングを可能にするか？

主な発見

• 提案されたLSGDアルゴリズムは、畳み込みニューラルネットワーク（CNN）において、最先端のベースラインと同等またはそれ以上のテスト精度を達成する。
• 発散した局所最適解の平均に引きずられる収束の遅れを回避する。
• リーダーのパラメータを活用することで、対称性が破られ、性能が劣る解への収束リスクが低減する。
• 通信効率が顕著に向上し、全ワーカーのパラメータではなく、リーダーのパラメータのみをブロードキャストするためである。
• マルチリーダー拡張はハードウェアノードに適切にマッピングされ、クラスタ全体にわたるスケーラブルで効率的な分散学習を可能にする。
• 実験的結果により、リーダーに基づくアプローチが、EASGD や標準的なSGDに比べ、学習精度と収束安定性において優れていることが示された。