[論文レビュー] Distributed learning with compressed gradients

Sarit Khirirat, Hamid Reza Feyzmahdavian+1 more|arXiv (Cornell University)|Jun 18, 2018

Stochastic Gradient Optimization Techniques参考文献 17被引用数 39

ひとこと要約

本稿では、不偏確率的量子化器（URQ）を用いた圧縮および遅延付き勾配を用いた分散最適化の統一的収束解析を提示する。非漸近的収束バウンドを導出し、ステップサイズの選択、圧縮精度、遅延性を反復回数および通信複雑度と明示的に関連づけることで、大規模学習におけるトレードオフの特徴付けを可能にする。

ABSTRACT

Asynchronous computation and gradient compression have emerged as two key techniques for achieving scalability in distributed optimization for large-scale machine learning. This paper presents a unified analysis framework for distributed gradient methods operating with staled and compressed gradients. Non-asymptotic bounds on convergence rates and information exchange are derived for several optimization algorithms. These bounds give explicit expressions for step-sizes and characterize how the amount of asynchrony and the compression accuracy affect iteration and communication complexity guarantees. Numerical results highlight convergence properties of different gradient compression algorithms and confirm that fast convergence under limited information exchange is indeed possible.

研究の動機と目的

• 分散学習における勾配圧縮の理論的収束保証の不足に取り組むこと、特に非同期および通信制限下での状況を想定する。
• 勾配圧縮下での同期および非同期分散最適化の解析を統一すること。
• 圧縮および遅延性の下での反復複雑度と通信コストのトレードオフを特徴づけること。
• URQ圧縮勾配を用いた勾配降下法およびインクリメンタルアグリゲート勾配（IAG）の明示的かつ非漸近的収束バウンドを提供すること。
• 有界な遅延および圧縮誤差下で収束を保証するためのステップサイズの条件を確立すること。

提案手法

• 一般的な圧縮方式（量子化やスパarsificationなど）を一般化する不偏確率的量子化器（URQ）に基づく統一フレームワークを提案する。
• パラメータサーバー・アーキテクチャにおける非同期更新を捉えるために、有界遅延 τ_k^i ≤ τ を用いて勾配の遅延性をモデル化する。
• 反復回数における期待サブ最適性および勾配ノルムの減衰を分析することで、非漸近的収束バウンドを導出する。
• Lyapunov型関数を用いた再帰的不等式フレームワークを用い、圧縮ノイズおよび遅延効果の両方を組み込んだ期待誤差をバウンドする。
• 確率的および遅延付き更新下での収束レート解析を可能にするために、平均勾配ノルムをバウンドするための重要な補題（補題 M.7）を導入する。
• 降下項および安定性項の正の性質を保証することで、ステップサイズの許容範囲を確立し、リプシッツ定数および遅延バウンドを含む閉形式の式を得る。

実験結果

リサーチクエスチョン

• RQ1 URQを用いた勾配圧縮は、非同期下における分散最適化の勾配降下法の収束速度にどのように影響するか？
• RQ2 分散学習における圧縮勾配を使用する際の、反復複雑度と通信コストの明示的トレードオフは何か？
• RQ3 遅延バウンドと圧縮精度は、分散勾配法の収束保証にどのように共同で影響を与えるか？
• RQ4 同期および非同期版のIAGに圧縮勾配を適用した場合、非漸近的収束バウンドを導出できるか？
• RQ5 有界な遅延および圧縮誤差下で収束を保証するためのステップサイズの条件は何か？

主な発見

• 本稿では、圧縮および遅延付き勾配を用いた分散勾配降下法の非漸近的収束レートバウンドを導出し、期待サブ最適性が反復回数に対して線形に減少することを示している。
• 許容可能なステップサイズ範囲は、Lがリプシッツ定数でτが最大遅延であるとして、γ < 2 / [L(1 + √(1 + 8τ(τ+1)))] として明示的に特徴づけられている。
• 導出されたステップサイズ条件下では、期待勾配ノルムが反復回数Kに対してO(1/K)のレートでゼロに収束する。
• 通信コストはURQの性質 E||Q(v)−v||² ≤ βE||v||² におけるパラメータβを介して圧縮精度と定量的に関連づけられており、βが大きいほど必要な反復回数が増加する。
• 解析により、圧縮誤差および遅延が有界である場合、限られた通信量下でも高速収束が達成可能であることが示された。
• 数値結果により、理論的収束挙動が異なる圧縮アルゴリズムにおいても実験的性能と一致しており、導出されたバウンドの妥当性が検証された。