[論文レビュー] LocalNewton: Reducing Communication Bottleneck for Distributed Learning

Vipul Gupta, Avishek Ghosh+4 more|arXiv (Cornell University)|May 16, 2021

Stochastic Gradient Optimization Techniques参考文献 47被引用数 4

ひとこと要約

本稿では、マスタとワーカー間の同期のたびに複数回の局所ニュートンステップを実行することで通信負荷を低減する分散2次最適化手法LocalNewtonを提案する。AWS Lambda上では、最先端の手法と比較して通信ラウンド数が60%未満、エンドツーエンドの学習時間が40%未満に削減される。また、収束を精緻化するために局所反復回数を動的に減少させる適応的バージョンも提案している。

ABSTRACT

To address the communication bottleneck problem in distributed optimization within a master-worker framework, we propose LocalNewton, a distributed second-order algorithm with local averaging. In LocalNewton, the worker machines update their model in every iteration by finding a suitable second-order descent direction using only the data and model stored in their own local memory. We let the workers run multiple such iterations locally and communicate the models to the master node only once every few (say L) iterations. LocalNewton is highly practical since it requires only one hyperparameter, the number L of local iterations. We use novel matrix concentration-based techniques to obtain theoretical guarantees for LocalNewton, and we validate them with detailed empirical evaluation. To enhance practicability, we devise an adaptive scheme to choose L, and we show that this reduces the number of local iterations in worker machines between two model synchronizations as the training proceeds, successively refining the model quality at the master. Via extensive experiments using several real-world datasets with AWS Lambda workers and an AWS EC2 master, we show that LocalNewton requires fewer than 60% of the communication rounds (between master and workers) and less than 40% of the end-to-end running time, compared to state-of-the-art algorithms, to reach the same training~loss.

研究の動機と目的

• 特にサーバーヲスコンピューティングのような高レイテンシ環境において、分散最適化における通信ボトルネックを解消すること。
• 通信ラウンド数を最小限に抑えつつ収束速度を損なわずに実用的な2次最適化手法を設計すること。
• 学習の進行状況に応じて局所反復回数を動的に調整する適応的スキームを開発すること。
• 局所平均化の下で収束を保証するための行列濃度技術を用いた理論的保証を提供すること。
• 実世界のデータセットを用いた実験を通じて、エンドツーエンドの学習時間と通信ラウンド数の顕著な削減を示すこと。

提案手法

• LocalNewtonは、各ワーカーがローカルデータとモデルパラメータのみを用いて複数回の局所ニュートンステップを実行することで、マスターワーカー間の同期頻度を低減する。
• 通信ラウンドごとに固定された$ L $回の局所反復を実行するが、$ L $は1つのハイパーパrameterとして選択される。
• 新規の行列濃度技術を用いて理論的収束性を確立し、グローバル最小値の近くの小さなノルムボールへの収束を示した。
• 適応的バージョンであるAdaptive LocalNewtonは、観測された損失の変化に基づいて$ L $を時間経過とともに減少させ、最終的に$ L=1 $になるとGIANTに切り替える。
• 各ワーカーでバックトラッキングラインサーチによりステップサイズを計算し、降下性と安定性を保証する。
• 本手法は、100ワーカーを用いてAWS Lambda上で評価され、w8a、covtype、EPSILON、a9a、ijcnn1といった実世界のデータセットが使用された。

実験結果

リサーチクエスチョン

• RQ1 局所平均化を用いた2次最適化手法は、分散学習において通信ラウンド数を顕著に削減できるか？
• RQ2 局所反復回数$ L $の選択が収束性と通信効率に与える影響は何か？
• RQ3 $ L $に対する適応的戦略は、高レイテンシ環境下でのモデル品質向上と学習時間短縮に寄与するか？
• RQ4 LocalNewtonは、サーバーレス環境下で最先端の1次および2次最適化手法よりも優れたエンドツーエンド性能を達成するか？
• RQ5 局所平均化と限られた通信の下で、LocalNewtonの理論的収束挙動はいかなるものか？

主な発見

• Adaptive LocalNewtonは、AWS Lambda上での同じ訓練損失に到達するための通信ラウンド数を、最先端のアルゴリズムの60%未満にまで削減した。
• LocalNewtonのエンドツーエンドの学習時間は、AWS Lambda上でのベースライン手法の40%未満にまで短縮された。これは通信ラウンド数の削減に起因する。
• 全テストデータセットにおいて、Adaptive LocalNewtonは初期値3から$ L $を徐々に減少させ、最終的に$ L=1 $になるとGIANTに切り替えた。
• 局所的に2次情報を利用することで、通信を最小限に抑えつつ最適解に迅速に近づくことができる。
• 5つの実世界のデータセット（w8a、covtype、EPSILON、a9a、ijcnn1）において、同一のワーカー数と正則化条件下で一貫した改善が観測された。
• 理論的分析により、LocalNewtonがグローバル最小値の近くの小さな半径のノルムボールに収束することが確認され、効果的な初期化戦略としての役割が裏付けられた。