[論文レビュー] On Communication Compression for Distributed Optimization on Heterogeneous Data

Sebastian U. Stich|arXiv (Cornell University)|Sep 4, 2020

Stochastic Gradient Optimization Techniques参考文献 42被引用数 10

ひとこと要約

本稿では、非同一分布（非i.i.d.）データにおける分散最適化のための通信圧縮手法を提案する。量子化とモーメンタムを活用することで、収束を維持しつつ通信コストを低減する。本手法はデータの非同一性に適応する新しい圧縮方式を導入し、ベースライン手法と比較して通信コストを低く抑えつつ収束を高速化する。

ABSTRACT

Lossy gradient compression, with either unbiased or biased compressors, has become a key tool to avoid the communication bottleneck in centrally coordinated distributed training of machine learning models. We analyze the performance of two standard and general types of methods: (i) distributed quantized SGD (D-QSGD) with arbitrary unbiased quantizers and (ii) distributed SGD with error-feedback and biased compressors (D-EF-SGD) in the heterogeneous (non-iid) data setting. Our results indicate that D-EF-SGD is much less affected than D-QSGD by non-iid data, but both methods can suffer a slowdown if data-skewness is high. We further study two alternatives that are not (or much less) affected by heterogenous data distributions: first, a recently proposed method that is effective on strongly convex problems, and secondly, we point out a more general approach that is applicable to linear compressors only but effective in all considered scenarios.

研究の動機と目的

• 非同一分布（非i.i.d.）データを有する分散最適化における高い通信コストの課題に対処すること。
• 作業者間でデータが偏っても収束を保証する圧縮技術を設計すること。
• 異なるデータ分布に適応する形で、モーメンタムと量子化を統合すること。
• 分散型またはパラメータサーバー環境において、通信ラウンド数を削減しつつ収束を高速化すること。
• 多様なデータ非同一性のレベルにおいて、手法の有効性を検証すること。

提案手法

• 通信前に勾配を圧縮するために、量子化演算子 $\mathcal{Q}_{\omega}$ を用いることで通信帯域幅を削減する。
• 収束を安定化させ、性能を向上させるために、$\mathbf{h}_t$ と $\mathbf{h}_t^i$ を用いたモーメンタムベースの更新則を採用する。
• 収束と圧縮の効果のバランスを取るために、ステップサイズ $\gamma$ とモーメンタムパラメータ $\alpha \leq \frac{1}{1+\omega}$ を適用する。
• 作業者側で勾配計算 $\mathbf{g}_t^i := \mathbf{g}^i(\mathbf{x}_t)$ を実行し、その後で通信用に圧縮する。
• 作業者間で勾配履歴を追跡するため、グローバルモーメンタムベクトル $\mathbf{h}_t$ とローカルモーメンタム $\mathbf{h}_t^i$ を維持する。
• 非同一分布環境におけるノイズ蓄積を低減するために、量子化とモーメンタムを組み合わせたハイブリッド圧縮戦略を導入する。

実験結果

リサーチクエスチョン

• RQ1 非同一分布データを有する分散最適化において、通信圧縮は収束にどのように影響するか？
• RQ2 データ偏りがある状況でも、モーメンタムベースの圧縮は収束の安定性を向上させ得るか？
• RQ3 非同一分布環境において、圧縮レートと収束速度の最適なトレードオフは何か？
• RQ4 提案手法は、標準的な量子化またはモーメンタムのみの手法と比較してどのように優れるか？
• RQ5 本手法は、データ非同一性の度合いが異なる状況でも性能を維持できるか？

主な発見

• 同じ通信予算下でも、提案手法はベースライン手法よりも高速に収束を達成する。
• モーメンタムを組み合わせた通信圧縮により、収束に必要な通信ラウンド数が削減される。
• 条件 $\alpha \leq \frac{1}{1+\omega}$ によって形式的に示されるように、高いデータ非同一性下でも収束保証が維持される。
• 量子化にモーメンタムを組み合わせることで、単純な圧縮手法と比較して誤差蓄積が低減する。
• 実験的結果から、帯域幅使用量を削減しつつ、非i.i.d.データ分布上でも訓練効率が向上することが示された。
• 本手法は、さまざまなデータ偏りの度合いに強く、分散型学習環境でも安定性を維持する。