[論文レビュー] On the Benefits of Multiple Gossip Steps in Communication-Constrained Decentralized Optimization

Abolfazl Hashemi, Anish Acharya+4 more|arXiv (Cornell University)|Nov 20, 2020

Distributed Control Multi-Agent Systems参考文献 58被引用数 5

ひとこと要約

本稿では、任意の通信圧縮を伴う勾配更新の間に複数回のゴッサップステップを実行することで収束を加速する通信効率の良い分散最適化アルゴリズムDeLi-CoCoを提案する。平滑で非凸な目的関数がポリャク＝ロジャーヴィッチ条件を満たす場合、勾配反復ごとに$O(\log \frac{1}{\epsilon})$回のゴッサップステップを用いて、最適解からの$
\epsilon$以内に線形収束することを証明した。これは、圧縮なしの分散勾配降下法（DGD）と同等の収束速度を達成するが、ゴッサップステップ数を増やすことで任意に小さいサブ最適性半径を達成可能である。

ABSTRACT

In decentralized optimization, it is common algorithmic practice to have nodes interleave (local) gradient descent iterations with gossip (i.e. averaging over the network) steps. Motivated by the training of large-scale machine learning models, it is also increasingly common to require that messages be {\em lossy compressed} versions of the local parameters. In this paper, we show that, in such compressed decentralized optimization settings, there are benefits to having {\em multiple} gossip steps between subsequent gradient iterations, even when the cost of doing so is appropriately accounted for e.g. by means of reducing the precision of compressed information. In particular, we show that having $O(\log\frac{1}ε)$ gradient iterations {with constant step size} - and $O(\log\frac{1}ε)$ gossip steps between every pair of these iterations - enables convergence to within $ε$ of the optimal value for smooth non-convex objectives satisfying Polyak-Łojasiewicz condition. This result also holds for smooth strongly convex objectives. To our knowledge, this is the first work that derives convergence results for nonconvex optimization under arbitrary communication compression.

研究の動機と目的

• 分散機械学習における高い通信コストの課題に対処すること、特に圧縮されたパラメータの交換を伴う状況での課題に焦点を当てる。
• 通信制約下において、勾配更新の間に複数回のゴッサップステップを実行することで収束効率が向上するかを調査すること。
• 極めて強い圧縮を伴っても高速な収束を維持できる理論的裏付けを有するアルゴリズムの開発。
• 任意の（偏りありまたは偏りなしの）圧縮演算子を用いた非凸目的関数に対する収束保証を確立すること。
• 固定された通信予算内でゴッサップステップ数を増やし、圧縮精度を低下させることで通信効率が向上することを実証すること。

提案手法

• 各局所勾配更新の後に$Q > 1$回のゴッサップステップを実行する反復的で分散型のアルゴリズムであるDeLi-CoCoを提案する。
• ゴッサップフェーズに任意の通信圧縮（例：量子化、スパarsification）を統合し、局所パラメータの損失を伴う伝送を可能にする。
• ノード間で交換されるメッセージに圧縮を適用するネットワークグラフ上のコンSENSUSメカニズムを用い、局所推定値を平均化する。
• ゴッサップ反復全体にわたる圧縮に起因する誤差を追跡・補正するための新規な誤差フィードバック機構を採用する。
• ポリャク＝ロジャーヴィッチ（PL）条件を用いた収束バウンドを導出することで、非凸目的関数に対して線形収束を可能にする。
• ゴッサップステップ数$Q$と圧縮精度の間のトレードオフを分析し、$Q$を増やすことでサブ最適性半径が小さくなることを示す。

実験結果

リサーチクエスチョン

• RQ1 勾配更新の間に複数回のゴッサップステップを実行することで、通信制約下の分散最適化における収束が改善されるか？
• RQ2 ゴッサップステップ数を増やすことで、低精度の圧縮を用いても収束性能を維持または向上させられるか？
• RQ3 任意の通信圧縮（偏りありの演算子を含む）のもとで、非凸目的関数に対して線形収束を達成できるか？
• RQ4 ゴッサップステップ数$Q$が解のサブ最適性半径に与える影響は何か？
• RQ5 ゴッサップステップ数と圧縮精度の間には、通信効率を向上させる理論的トレードオフが存在するか？

主な発見

• DeLi-CoCoは、平滑で非凸な目的関数がポリャク＝ロジャーヴィッチ条件を満たす場合、$O(\log \frac{1}{\epsilon})$回の勾配反復と反復ごとに$O(\log \frac{1}{\epsilon})$回のゴッサップステップを用いて、最適解からの$
  \epsilon$以内に線形収束を達成する。
• 任意の圧縮演算子を用いても、圧縮なしの分散勾配降下法（DGD）と同等の収束速度を達成する。
• ゴッサップステップ数$Q$を増やすことで、サブ最適性半径を任意に小さくできる。これは、標準的なDGDを上回る性能向上を示している。
• 固定された通信予算において、$Q$を増やし、圧縮精度を低下させることで、理論的にも数値的にもより優れた収束性能が得られる。
• 偏りあり・偏りなしの両方の圧縮演算子においても収束を維持でき、従来の結果を非凸設定にまで拡張した。
• 理論的分析により、圧縮に起因する誤差が有界であり、時間経過とともに減少することが確認され、安定かつ高速な収束が可能であることが示された。