[論文レビュー] Hyper-Sphere Quantization: Communication-Efficient SGD for Federated Learning

Xinyan Dai, Yan Xiao+5 more|arXiv (Cornell University)|Nov 12, 2019

Privacy-Preserving Technologies in Data参考文献 36被引用数 32

ひとこと要約

ハイパースフィア量子化（HSQ）は、超球面上の共有コードブックを用いて全勾配ベクトルを量子化する、連合学習における通信効率の高い勾配圧縮フレームワークであり、1反復あたりの通信コストを O(log d) に抑えると同時に収束を保証する。従来の方法（例：QSGD）と比較して、顕著に低い帯域幅使用量を実現し、精度の低下は最小限に抑えられ、強固な理論的保証を持つ。

ABSTRACT

The high cost of communicating gradients is a major bottleneck for federated learning, as the bandwidth of the participating user devices is limited. Existing gradient compression algorithms are mainly designed for data centers with high-speed network and achieve $O(\sqrt{d} \log d)$ per-iteration communication cost at best, where $d$ is the size of the model. We propose hyper-sphere quantization (HSQ), a general framework that can be configured to achieve a continuum of trade-offs between communication efficiency and gradient accuracy. In particular, at the high compression ratio end, HSQ provides a low per-iteration communication cost of $O(\log d)$, which is favorable for federated learning. We prove the convergence of HSQ theoretically and show by experiments that HSQ significantly reduces the communication cost of model training without hurting convergence accuracy.

研究の動機と目的

• ユーザー端末の帯域幅制限に起因する連合学習における勾配伝送の高コストを解消すること。
• 特に帯域幅制限のある環境を想定し、従来の方法（例：QSGD）と比較して、1反復あたりの通信コストをより低く抑える勾配圧縮手法の設計。
• 調整可能なトレードオフを備えた理論的根拠に基づくフレームワークを提供し、通信効率と勾配精度のバランスを図ること。
• クライアント端末の通信しきい値を低くすることで、連合学習への参加をより広く可能にすること。

提案手法

• HSQは、単位超球面上に事前に計算された共有コードブックから、全勾配ベクトルを1つのコードワードとして選択することで、全体としての量子化を実現する。
• 勾配とコードワードの間の角度に基づく確率的選択を用い、量子化誤差を最小化する。
• 送信するのは選択されたコードワードのインデックスのみであり、1反復あたりの通信コストが O(log d) ビットに低減される。
• 2つの変種をサポートする：グリーディ-HSQ（バイアスありだが分散が小さい）とアンバイアスド-HSQ（バイアスなしで分散が大きい）で、性能のトレードオフを可能にする。
• コードワードは、正規直交基底、ランダム回転、ガウス分布、またはK-meansクラスタリングを用いて生成され、量子化精度を最適化する。
• このフレームワークは、滑らかで凸および非凸最適化問題の両方に対して、理論的に収束が保証されている。

実験結果

リサーチクエスチョン

• RQ1 既存手法で知られている最良の O(√d log d) よりも低い1反復あたりの通信コストを達成しつつ、連合学習における収束を保証することは可能か？
• RQ2 通信コストを極限まで圧縮（例：O(log d)）した場合、通信効率と勾配精度の間にはどのようなトレードオフが生じるか？
• RQ3 全勾配ベクトルのベクトル量子化は、要素ごとの量子化やスパース量子化と比較して、収束性および通信コストの点でどのように異なるか？
• RQ4 超球面上の確率的でコードワードベースのアプローチは、効果的なモデル学習を維持するのに十分な勾配忠実度を保つことができるか？

主な発見

• HSQは1反復あたりの通信コストを O(log d) に達成し、QSGDの O(√d log d) より顕著に低く抑え、帯域幅制限のある連合学習に非常に適している。
• d = 64 の場合、HSQはベースラインと比較して顕著に高い圧縮比を達成し、収束精度の低下は最小限に抑えられる。
• 実践的にはグリーディ-HSQがアンバイアスド-HSQを上回り、分散の低減が訓練安定性においてバイアスの影響を上回ることが示唆される。
• 擬似ノルム量子化に 4, 6, 32 ビットを用いる場合、性能に差はほとんどないが、2 ビットでは最終テスト精度が著しく低下する。
• データセンタートレーニングでは、HSQにより1エポックあたりの処理時間を14.4%削減し、テスト精度の低下は0.5%未満に抑えられる。
• 理論的に、滑らかで凸および非凸関数の両方に対して、収束保証が維持されることを示している。