[論文レビュー] Linear Convergent Decentralized Optimization with Compression

Xiaorui Liu, Yao Li+3 more|arXiv (Cornell University)|Jul 1, 2020

Distributed Control Multi-Agent Systems参考文献 36被引用数 12

ひとこと要約

本稿では、非同一データと通信圧縮誤差を扱えるように、プライマル・デュアル更新を活用した、初めての線形収束性を示す分散型最適化アルゴリズムLEADを提案する。強い凸関数に対しては定常ステップサイズのもとで線形収束を達成し、確率的勾配を用いる場合でもO(σ²)の近傍へ線形収束する。理論的および実践的両面で先行手法を上回る性能を発揮する。

ABSTRACT

Communication compression has become a key strategy to speed up distributed optimization. However, existing decentralized algorithms with compression mainly focus on compressing DGD-type algorithms. They are unsatisfactory in terms of convergence rate, stability, and the capability to handle heterogeneous data. Motivated by primal-dual algorithms, this paper proposes the first \underline{L}in\underline{EA}r convergent \underline{D}ecentralized algorithm with compression, LEAD. Our theory describes the coupled dynamics of the inexact primal and dual update as well as compression error, and we provide the first consensus error bound in such settings without assuming bounded gradients. Experiments on convex problems validate our theoretical analysis, and empirical study on deep neural nets shows that LEAD is applicable to non-convex problems.

研究の動機と目的

• データの非同一性が生じる状況下でも、通信圧縮を伴う線形収束性を示す分散型最適化アルゴリズムの欠如に取り組むこと。
• 非i.i.d.データ環境下で、既存のDGD型圧縮アルゴリズムの収束が遅く不安定である問題を克服すること。
• 圧縮誤差と一致性ダイナミクスを同時に管理できるプライマル・デュアルフレームワークを設計すること。
• 任意の精度の不偏圧縮と一般のネットワークトポロジーに対して収束の理論的保証を確立すること。
• 凸問題および深層ニューラルネットワークの両方で、提案手法の実証的有効性を検証し、耐障害性と効率性を示すこと。

提案手法

• LEADは、ネットワーク上でプライマル変数（x）とデュアル変数（d）を分散的に更新するプライマル・デュアル更新スキームを採用する。
• プライマル変数に誤差補償を伴う圧縮演算子を組み込み、通信コストを低減する。
• 収束分析のために、プライマルの不正確性、デュアル更新、圧縮誤差の連携ダイナミクスを、リャプノフ関数を用いてモデル化する。
• 強い凸かつ滑らかな関数に対して線形収束を保証するため、ステップサイズを(0, 2/(μ+L)]の範囲で定常的に設定する。
• 確率的勾配を用いる場合、定常ステップサイズのもとで最適解のO(σ²)近傍へ線形収束を達成し、徐々に小さくするステップサイズでは正確な収束を実現する。
• 収束解析では、勾配の有界性を仮定せず、混合行列Wの固有値特性に依存して、一貫性誤差のバウンディングを導出する。

実験結果

リサーチクエスチョン

• RQ1 通信圧縮が適用された分散型プライマル・デュアルアルゴリズムが、定常ステップサイズのもとで線形収束を達成できるか？
• RQ2 分散最適化において、圧縮誤差が一貫性とプライマルの不正確性にどのように作用するか？
• RQ3 任意の精度の不偏圧縮と非同一データ環境下でも、アルゴリズムが線形収束を維持できるか？
• RQ4 勾配の有界性を仮定しない状況下で、圧縮と不正確な更新が存在する際の、一貫性誤差の理論的バウンディングは何か？
• RQ5 提案されたアルゴリズムは、深層ニューラルネットワーク学習のような非凸問題に対しても有効か？

主な発見

• LEADは、強い凸かつ滑らかな目的関数に対して定常ステップサイズのもとで線形収束を達成する、圧縮を伴う最初の分散型アルゴリズムである。
• 確率的勾配を用いる場合、定常ステップサイズのもとで最適解のO(σ²)近傍へ線形収束を保証する。
• 圧縮が存在する中でも、ステップサイズを徐々に小さくすることで、最適解への正確な収束を達成する。
• 勾配の有界性を仮定しない状況でも、線形収束を維持できることを示し、このような設定における新たな一貫性誤差バウンディングを提供する。
• 実験的結果から、非同一データ上での深層ニューラルネットワーク学習において、LEADはベースラインを著しく上回り、通信および計算の両面で高い効率性を示す。
• LEADはハイパーパrameterの設定に対して頑健であり、最小限のチューニングで運用可能であり、実用的応用性が顕著に高い。