[論文レビュー] Adaptive Serverless Learning

Hongchang Gao, Heng Huang|arXiv (Cornell University)|Aug 24, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用数 4

ひとこと要約

本稿では、最初の適応的分散学習手法である Decentralized Adam を提案する。この手法は、各ワーカーが局所的なデータに基づいて学習率を動的に調整することで、ワーカー数に比例した線形スケーリングを実現する。さらに、通信をスキップする機構とモデル更新の圧縮を導入した通信効率の高い変種を提案し、両者とも理論的収束性と線形スケーリングを達成するとともに、スパースでカテゴリカルなデータタスクにおいて実験的に有効であることを示す。

ABSTRACT

With the emergence of distributed data, training machine learning models in the serverless manner has attracted increasing attention in recent years. Numerous training approaches have been proposed in this regime, such as decentralized SGD. However, all existing decentralized algorithms only focus on standard SGD. It might not be suitable for some applications, such as deep factorization machine in which the feature is highly sparse and categorical so that the adaptive training algorithm is needed. In this paper, we propose a novel adaptive decentralized training approach, which can compute the learning rate from data dynamically. To the best of our knowledge, this is the first adaptive decentralized training approach. Our theoretical results reveal that the proposed algorithm can achieve linear speedup with respect to the number of workers. Moreover, to reduce the communication-efficient overhead, we further propose a communication-efficient adaptive decentralized training approach, which can also achieve linear speedup with respect to the number of workers. At last, extensive experiments on different tasks have confirmed the effectiveness of our proposed two approaches.

研究の動機と目的

• 深層ファクタリゼーションマシンのようなスパースでカテゴリカルなデータにおいて、固定の学習率を使用する従来の分散SGD手法の限界を是正する。
• 手動のチューニングを必要とせず、各ワーカーノードごとに適応的学習率をサポートする分散学習フレームワークを構築する。
• 通信スキップとモデル圧縮の導入により、分散学習における通信オーバーヘッドを低減する。
• 非凸設定下で線形スケーリングを伴う理論的収束保証を確立する。
• 異種のデータにおける大規模分散機械学習の実用的スケーラビリティと効率性を確保する。

提案手法

• 各ワーカーが局所的な勾配統計に基づいて独自の適応的学習率を動的に計算する、Adamオプティマイザーを模倣した Decentralized Adam を提案する。
• ワーカーが毎 p 回ごとに同期する通信スキップ機構を導入し、通信頻度を低減する。
• 隣接ワーカー間の通信パラメータにモデル圧縮を適用し、各通信ラウンドにおける帯域幅使用量を削減する。
• ワーカー間での一致を保証し、分散環境下での収束を維持するため、二重確率的混合行列 W を使用する。
• 滑らかさ、勾配の有界性、分散制御を用いた理論的分析により、線形スケーリングを伴う収束バウンドを導出する。
• 各座標ごとの学習率更新を、2次のモーメントの累積推定に基づき、数値安定性のための微小定数 τ を用いて適応的学習率を統合する。

実験結果

リサーチクエスチョン

• RQ1 適応的学習率を収束保証を維持したまま分散学習に統合することは可能か？
• RQ2 分散学習における通信のスキップは、収束性を保持し、ワーカー数に比例した線形スケーリングを達成できるか？
• RQ3 適応的分散学習と効果的に組み合わせられるか、モデル圧縮は収束性や性能の低下を引き起こさないか？
• RQ4 標準的な分散SGDと比較して、本手法は実世界のスパースでカテゴリカルなデータタスクでどのように性能を発揮するか？
• RQ5 非凸最適化下での適応的分散学習の理論的収束速度は何か？

主な発見

• 提案手法である Decentralized Adam は、ワーカー数に比例した線形スケーリングを達成した。これは、適応的分散学習分野で初の成果である。
• 通信スキップと圧縮を組み合わせた通信効率の高い変種も、線形スケーリングを達成しており、通信量を削減した状態でもスケーラビリティを示している。
• 理論的分析により、期待値の勾配ノルム二乗の収束レートが O(1/T) の非線形率で保証された。
• 多様なタスクにおける実験的結果から、両手法の有効性が確認され、特に適応的学習が不可欠なスパースでカテゴリカルなデータにおいて顕著な効果を示した。
• 深層ファクタリゼーションマシンタスクにおいて、収束速度と最終的なモデル精度の両面で、標準的な分散SGDを上回った。