[論文レビュー] Communication-Efficient Distributed Learning via Lazily Aggregated Quantized Gradients

Jun Sun, Tianyi Chen+2 more|arXiv (Cornell University)|Sep 17, 2019

Stochastic Gradient Optimization Techniques被引用数 39

ひとこと要約

LAQ は勾配の革新ベースの量子化と遅延集約を導入し、通信ビット数とラウンド数の両方を削減しつつ、強凸損失の線形収束を維持します。

ABSTRACT

The present paper develops a novel aggregated gradient approach for distributed machine learning that adaptively compresses the gradient communication. The key idea is to first quantize the computed gradients, and then skip less informative quantized gradient communications by reusing outdated gradients. Quantizing and skipping result in `lazy' worker-server communications, which justifies the term Lazily Aggregated Quantized gradient that is henceforth abbreviated as LAQ. Our LAQ can provably attain the same linear convergence rate as the gradient descent in the strongly convex case, while effecting major savings in the communication overhead both in transmitted bits as well as in communication rounds. Empirically, experiments with real data corroborate a significant communication reduction compared to existing gradient- and stochastic gradient-based algorithms.

研究の動機と目的

• 多数のワーカーを含む分散学習における通信ボトルネックの削減を動機付ける。
• 勾配を圧縮し、収束保証を失うことなくアップロードラウンドを減らす手法を開発する。
• 通信資源を節約しつつ、勾配降下法と同等の収束を達成する。
• 理論的保証と実データセットでの実証を提供する。

提案手法

• 全勾配ではなく勾配の革新を量子化して、アップロードあたりのビット数を削減する。
• サーバーで古い勾配を再利用し、選択されたワーカーの勾配の革新のみをアップロードする（遅延集約）。
• 勾配とパラメータの差に基づいて、各反復でどのワーカーがアップロードするかを決定する選択基準を定義する。
• 量子化誤差を伴う強凸性の下でLAQの線形収束を証明する。
• 過去の反復と量子化誤差を組み込んだLyapunov関数を用いて収束を解析する。

実験結果

リサーチクエスチョン

• RQ1 勾配の量子化と遅延集約の組み合わせは、強凸な損失に対してGDと同じ線形収束を達成できるか？
• RQ2 勾配の革新ベースのアップロードが通信ラウンド数と送信ビット数に与える影響は？
• RQ3 収束を維持しつつ各反復でどのワーカーがアップロードするかを決定する信頼できる基準をどのように設計するか？
• RQ4 量子化誤差が存在する場合の理論的保証（レート）は何か？
• RQ5 実データセット上で、LAQはGD、QGD、LAGと比べて経験的にどのように機能するか？

主な発見

• LAQは、量子化とスキップしたアップロードにもかかわらず、μ-強凸なf(·)の最適解への線形収束を達成する。
• LAQはGDおよびQGDと比べて通信ラウンド数と総ビット数の双方を削減しつつ、精度を維持する。
• ロジスティック回帰とニューラルネットワークにおいて、LAQはGDおよびQGDより少ない通信ラウンド、LAGより少ないビット数を必要とし、精度は同等であるという経験的結果。
• SLAQ（確率的バリアント）はさらに通信ラウンドとビット数を削減し、検証シナリオでQSGDおよびSSGDを上回る。
• 理論解析はLyapunovに基づく収束保証と量子化誤差の成長境界を提供する。