[論文レビュー] Decentralized Composite Optimization with Compression

Yao Li, Xiaorui Liu+3 more|arXiv (Cornell University)|Aug 10, 2021

Stochastic Gradient Optimization Techniques参考文献 69被引用数 4

ひとこと要約

本稿では、確率的複合最適化のための通信圧縮を備えた分散型プロキシマル勾配アルゴリズムであるProx-LEADを提案する。一般の確率的および有限和設定の両方で線形収束を達成し、任意の圧縮精度に対しても、収束速度を損なわずに通信コストを顕著に削減する。非滑らか正則化子を伴う分散機械学習において、極めて効率的である。

ABSTRACT

Decentralized optimization and communication compression have exhibited their great potential in accelerating distributed machine learning by mitigating the communication bottleneck in practice. While existing decentralized algorithms with communication compression mostly focus on the problems with only smooth components, we study the decentralized stochastic composite optimization problem with a potentially non-smooth component. A \underline{Prox}imal gradient \underline{L}in\underline{EA}r convergent \underline{D}ecentralized algorithm with compression, Prox-LEAD, is proposed with rigorous theoretical analyses in the general stochastic setting and the finite-sum setting. Our theorems indicate that Prox-LEAD works with arbitrary compression precision, and it tremendously reduces the communication cost almost for free. The superiorities of the proposed algorithms are demonstrated through the comparison with state-of-the-art algorithms in terms of convergence complexities and numerical experiments. Our algorithmic framework also generally enlightens the compressed communication on other primal-dual algorithms by reducing the impact of inexact iterations, which might be of independent interest.

研究の動機と目的

• 非滑らか正則化子を含む問題における通信圧縮を伴う分散最適化のギャップを埋める。
• 圧縮を統合した分散設定におけるプロキシマル勾配法の統一的アルゴリズムフレームワークを構築する。
• 任意の圧縮精度下でも、元の非圧縮アルゴリズムと同等の線形収束レートを達成する。
• 確率的および有限和設定の両方で、通信コストと収束速度の点で優れた通信効率と性能を示す。
• 既知の分散アルゴリズムとの関連を明確にし、プライマル・ダウアル法における圧縮通信を可能にする。

提案手法

• 任意の圧縮演算子を用いた通信圧縮を備えた分散型プロキシマル勾配アルゴリズム、Prox-LEADを提案する。
• 収束の加速のために、分散フレームワークにバリアンス低減技術（SAGA、LSVRG）を統合する。
• 連結されたネットワークトポロジー上で、局所更新メカニズムと通信圧縮を組み合わせ、データ転送を最小限に抑える。
• 量子化やスパarsificationに対しても収束を維持できる、有界誤差を持つ一般圧縮演算子を適用する。
• 確率的設定において、減少するステップサイズ戦略を採用し、正確な解へのO(1/k)収束を達成する。
• 理論的分析では、勾配の有界性仮定なしに非滑らか正則化子と非均質データ分布を扱う。

実験結果

リサーチクエスチョン

• RQ1 通信圧縮は、複合最適化のための分散型プロキシマル勾配法に効果的に統合可能か？
• RQ2 提案アルゴリズムは、任意の圧縮精度下でも線形収束を維持するか？
• RQ3 通信コストと収束速度の点で、Prox-LEADは非圧縮および最先端の圧縮アルゴリズムと比較してどのように差をつけるか？
• RQ4 分散非滑らか最適化における通信圧縮とバリアンス低減技術を効果的に組み合わせられるか？
• RQ5 データの非均質性と非滑らか正則化子が存在する状況で、圧縮が収束に与える影響は何か？

主な発見

• Prox-LEADは、バリアンス低減バージョン（LSVRGおよびSAGA）を用いることで、有限和設定においても最適解への線形収束を達成する。
• 一般の確率的設定では、Prox-LEADは最適解の近傍で線形収束するが、減少するステップサイズを用いることで、正確な解へのO(1/k)収束を達成する。
• 勾配の有界性やデータ非均質性の仮定なしに、非圧縮アルゴリズムと同等の収束レートを維持する。
• 実験により、通信コストが最大16倍（例：2ビット vs. 32ビット）削減され、性能劣化は最小限に抑えられる。
• 2ビットのProx-LEADは、反復回数および勾配評価回数の点で32ビット版と同等の収束速度を示し、通信ビット数を顕著に削減する。
• このフレームワークは他のプライマル・ダウアル法へ一般化可能であり、通信圧縮により不正確な反復の影響を軽減する。