[論文レビュー] Distributed Fixed Point Methods with Compressed Iterates

Sélim Chraibi, Ahmed Khaled+4 more|arXiv (Cornell University)|Dec 20, 2019

Stochastic Gradient Optimization Techniques参考文献 32被引用数 6

ひとこと要約

本稿は、通信効率の高いフェデレーテッドラーニングおよび大規模最適化における学習を可能にする、最初の圧縮された反復を用いた分散型固定点法を提案する。標準的およびバリアンス低減型のアルゴリズムを提案し、圧縮された反復を用いて線形収束を達成する。これは、標準的な圧縮および作用素の性質に関する仮定の下で、収束保証を維持しつつ、通信効率を著しく向上させる。

ABSTRACT

We propose basic and natural assumptions under which iterative optimization methods with compressed iterates can be analyzed. This problem is motivated by the practice of federated learning, where a large model stored in the cloud is compressed before it is sent to a mobile device, which then proceeds with training based on local data. We develop standard and variance reduced methods, and establish communication complexity bounds. Our algorithms are the first distributed methods with compressed iterates, and the first fixed point methods with compressed iterates.

研究の動機と目的

• 大規模機械学習、特にフェデレーテッドラーニング環境における通信およびメモリのボトル neck を解決すること。
• 勾配だけでなく反復自体を圧縮する反復的最適化手法を開発し、メモリおよび帯域幅の節約を実現すること。
• 中央集権的および分散型の固定点法に圧縮された反復を適用した非漸近的収束レートを確立すること。
• 新しいバリアンス低減型アルゴリズムフレームワークにより、反復圧縮によって生じるバリアンスを除去すること。
• 既存の圧縮反復付き勾配降下法を、より広範な固定点反復および分散環境に一般化すること。

提案手法

• 各ノードが局所的作用素を計算し、圧縮された反復を通信する分散型中央集権的固定点フレームワークを提案する。
• 圧縮に起因するバイアスを補正するための補助変数を維持するバリアンス低減型アルゴリズム（アルゴリズム4）を導入する。
• 相対誤差が有界であることを保証する仮定3を満たす圧縮作用素を用いる。これには量子化およびスパarsificationが含まれる。
• 標準的な仮定の下で、バリアンス低減型手法の線形収束を示すためにリャプノフ関数を用いる。
• 標準的およびバリアンス低減型アルゴリズムの収束レートを導出し、圧縮の品質および問題の条件数に明示的な依存関係を示す。
• フレームワークを分散型勾配降下および勾配降下上昇に適用し、両者に対して線形収束が成立することを示す。

実験結果

リサーチクエスチョン

• RQ1 圧縮された反復を用いた固定点法は、分散環境でも線形収束を達成できるか？
• RQ2 反復圧縮は収束にどのように影響するのか？ また、誘発されるバリアンスは除去可能か？
• RQ3 圧縮された反復を用いた分散型固定点法の通信複雑度の上限は何か？
• RQ4 提案されたフレームワークは、確率的および非凸最適化問題に一般化可能か？
• RQ5 実際の応用において、バリアンス低減型アプローチは標準的な圧縮反復付き手法と比較してどのように差がつくか？

主な発見

• バリアンス低減型アルゴリズム（アルゴリズム4）は、圧縮の品質およびステップサイズパラメータに依存する収束レートで線形収束を達成する。
• バリアンス低減型手法の収束レートは、標準的手法が直面するバリアンス項に依存せず、$\mathbb{E}[\Psi^k] \leq (1 - \frac{\min\{\alpha, \eta\rho\}}{2})^k \mathbb{E}[\Psi^0] + \frac{2\eta B}{\min\{\alpha, \eta\rho\}}$ の形のバインドを達成する。
• $B=0$ の場合、アルゴリズムは線形収束を示し、提案されたフレームワークの下で圧縮に起因するバリアンスを完全に除去できることを示している。
• 本手法は分散型勾配降下および勾配降下上昇に一般化され、両者に対して線形収束が確立されている。
• 数値実験では、圧縮反復付きバリアンス低減型手法が、標準的勾配降下および圧縮反復付き勾配降下よりも収束速度で優れていることが示された。
• アルゴリズムは通信コストを低減しながら収束を維持するため、フェデレーテッドラーニングのようなメモリ制限および通信制限のある環境に適している。