[論文レビュー] LASG: Lazily Aggregated Stochastic Gradients for Communication-Efficient Distributed Learning

Tianyi Chen, Yuejiao Sun+1 more|arXiv (Cornell University)|Feb 26, 2020

Stochastic Gradient Optimization Techniques参考文献 31被引用数 14

ひとこと要約

本稿では、動的インノベーションに基づく条件に従い、新鮮な勾配または古くなった勾配を適切に選択することで、冗長な勾配通信を能動的にスキップする通信効率の高い分散学習のための確率的最適化手法LASGを提案する。LASGは、実際の応用において標準的なSGDと同等の収束速度を達成しながら、通信コストの高いフェデレーテッドおよび分散学習環境において、合計通信量を最大で1桁削減する。

ABSTRACT

This paper targets solving distributed machine learning problems such as federated learning in a communication-efficient fashion. A class of new stochastic gradient descent (SGD) approaches have been developed, which can be viewed as the stochastic generalization to the recently developed lazily aggregated gradient (LAG) method --- justifying the name LASG. LAG adaptively predicts the contribution of each round of communication and chooses only the significant ones to perform. It saves communication while also maintains the rate of convergence. However, LAG only works with deterministic gradients, and applying it to stochastic gradients yields poor performance. The key components of LASG are a set of new rules tailored for stochastic gradients that can be implemented either to save download, upload, or both. The new algorithms adaptively choose between fresh and stale stochastic gradients and have convergence rates comparable to the original SGD. LASG achieves impressive empirical performance --- it typically saves total communication by an order of magnitude.

研究の動機と目的

• サーバーとワーカー間の頻回なモデルパラメータの交換が性能を低下させる分散およびフェデレーテッド機械学習における高い通信オーバーヘッドに対処すること。
• 収束速度を損なわずに、情報のない通信ラウンドを知的にスキップする確率的勾配法を開発すること。
• サーバーおよびワーカー側の計算に適した、適応的で軽量な条件を設計し、いつ新鮮な勾配を送信するか、いつ古くなった勾配を再利用するかを決定すること。
• 分散最適化における合計通信コストを著しく削減する一方で、標準的なSGDと同等の収束保証を維持すること。
• 均一および非均一なデータパーティショニングを含む多様なデータセットおよび設定において、実験的に評価すること。

提案手法

• LASGは、各イテレーションでワーカーから送信された顕著な勾配インノベーションのみを用いて、サーバーがグローバル勾配推定値を更新するラジエイティブアグリゲーション戦略を用いる。
• 本手法は、現在の勾配と以前に使用された勾配との差分として定義される勾配インノベーションの大きさを評価する条件に基づき、どのワーカーと通信するかを動的に選択する。
• 2つの適応的通信ルールを提案する：ワーカー側で実行されるLASG-WKと、サーバー側で実行されるLASG-PSであり、通信、計算、メモリ使用量の柔軟性を提供する。
• 勾配の古さはワーカーごとに追跡される。通信がスキップされた場合、そのワーカーの勾配の古さは増加し、再び通信に参加するとリセットされる。
• 重要な勾配変化のみを送信することで、アルゴリズムは収束を維持する。これにより、冗長な通信を削減しながら最適化の進行を保証する。
• 理論的分析により、LASGは弱い仮定のもとで標準的なSGDと同等の収束速度を達成することが示され、期待される非最適性の明示的バウンドが得られる。

実験結果

リサーチクエスチョン

• RQ1 分散学習における通信オーバーヘッドを低減する確率的勾配法を設計できるか、収束性能を損なわずに行えるか？
• RQ2 適応的で軽量な条件を用いて、分散確率的最適化環境において、勾配更新の送信をスキップするか否かを決定する方法は何か？
• RQ3 新鮮な勾配の代わりに古くなった勾配を使用した場合、収束に与える影響は何か？ そして、性能を維持するためにその影響をどのように制御できるか？
• RQ4 SGD、Local SGD、QSGD、LAGと比較して、LASGは通信効率および最終的な目的関数値においてどのように差をつけるか？
• RQ5 LASGは、均一および非均一なデータパーティショニングの両方の状況でも収束保証を維持できるか？

主な発見

• LASGは、ijcnn1、MNIST、covtypeを含む複数のデータセットにおいて、標準的なSGDと比較して合計通信量を最大で1桁削減する。
• ロジスティック回帰タスクにおいて、ijcnn1では1000ラウンド後に目的関数値が0.2252にまで低下し、SGD（0.4276）およびLAG-WK（0.3352）を上回る性能を示す。
• ニューラルネットワークを用いたMNISTでは、10,000回の通信ラウンド後にテスト目的関数値が0.0395にまで低下し、SGD（0.1612）およびローカルSGD（0.2388）を著しく上回る。
• 非均一なデータ設定においても、LASGは高い性能を維持し、ijcnn1では100,000ビットのアップロード量で目的関数値0.2296、MNISTでは0.1710を達成し、QSGDおよびLAQSGを上回る。
• 理論的分析により、LASGは標準的なSGDと同等の収束速度を維持しており、定常ステップサイズでは非最適性がO(1/K)、減少ステップサイズではO(1/√K)のバウンドが得られることが確認された。
• 実験的結果から、LASG-WKおよびLASG-PSの変種は同等の性能を示し、初期段階の反復でLASG-PSがわずかに優れた収束を示すことがある。