[論文レビュー] Optimal Gradient Compression for Distributed and Federated Learning

Alyazeed Albasyoni, Mher Safaryan+2 more|arXiv (Cornell University)|Oct 7, 2020

Sparse and Compressive Sensing Techniques参考文献 40被引用数 36

ひとこと要約

この論文は、分散学習およびフェデレーテッド学習における勾配圧縮の fundamental rate-distortion trade-off を分析し、最悪ケースおよび平均ケースの下限に接近する効率的な圧縮器（Sparse Dithering および Spherical Compression）を導入します。

ABSTRACT

Communicating information, like gradient vectors, between computing nodes in distributed and federated learning is typically an unavoidable burden, resulting in scalability issues. Indeed, communication might be slow and costly. Recent advances in communication-efficient training algorithms have reduced this bottleneck by using compression techniques, in the form of sparsification, quantization, or low-rank approximation. Since compression is a lossy, or inexact, process, the iteration complexity is typically worsened; but the total communication complexity can improve significantly, possibly leading to large computation time savings. In this paper, we investigate the fundamental trade-off between the number of bits needed to encode compressed vectors and the compression error. We perform both worst-case and average-case analysis, providing tight lower bounds. In the worst-case analysis, we introduce an efficient compression operator, Sparse Dithering, which is very close to the lower bound. In the average-case analysis, we design a simple compression operator, Spherical Compression, which naturally achieves the lower bound. Thus, our new compression schemes significantly outperform the state of the art. We conduct numerical experiments to illustrate this improvement.

研究の動機と目的

• 分散/フェデレーテッド学習における勾配圧縮の rate-distortion のトレードオフを動機付け、形式化する。
• 歪みを与えたときのベクトルあたりビット数の最悪ケースおよび平均ケースの下界を特徴づける。
• 高次元においてほぼ最適で実用的な効率的な圧縮演算子を提案する。
• 圧縮が反復収束と総通信量に与える影響を分析する。
• 通信と収束のトレードオフを示す実験的検証を提供する。

提案手法

• 圧縮演算子をエンコーダ–デコーダのペアとして定義し、それらを無偏、収縮性、および厳密に収縮的なクラスに分類する。
• 通信圧縮の不確定性原理を用いて、ある歪みに対して必要なビット数の最悪ケースの下界を導出する。
• Sparse Dithering をほぼ最適で効率的な圧縮器として構築し、決定論的（biased）および乱数化（unbiased）な変種の両方を分析する。
• Spherical Compression を平均ケースで最適な圧縮器として導入し、わずかなオーバヘッドで下限を達成する。
• 理論的境界と分散最適化タスクに関する実証実験を通じて、既存手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 高次元における勾配圧縮で、歪みとビット数を関連づける基本的な下界は何か？
• RQ2 これらの下界をほぼ達成しつつ計算効率を保つ圧縮演算子を設計できるか？
• RQ3 圧縮パラメータ（歪みレベル、ビット予算）は分散学習における反復複雑度と総通信にどのように影響するか？
• RQ4 平均ケースで最適で、既存のアプローチを上回る実用的な圧縮器はあるか？
• RQ5 収束と通信効率の観点から、biased/unbiased圧縮器のトレードオフは何か？

主な発見

• 厳密な漸近的下界は b* (alpha, d) ≈ -log P(alpha, d) + log d + (1/2) log log d + e を示し、e は小さいとして、最悪ケース設定におけるほぼ最適性を確立する。
• Sparse Dithering (SD) は効率的なエンコードを伴う最悪ケース性能でほぼ最適を達成し、biased および randomized variants では大幅な帯域も削減を達成する。
• nu = 1/10 の決定論的 SD は最大で 30 + log d + 3.35 d bits を送信し、理論上の最適値から 1.69 d bits の範囲内である。
• Randomized SD (unbiased) は期待値で少なくとも 30 + log d + (log 3 + 1/(2√ω)) d bits 以内を達成し、大幅な帯域節約を可能にする（いくつかの設定で約9.9×）。
• Spherical Compression (SC) は平均ケース下界を 3 ビット未満の余分さで達成し、平均通信においてほぼ最適を実現する。
• 実験はリッジ回帰およびロジスティック回帰タスクにおいて、収束挙動を維持しつつ通信の意味のある削減を示す。