[論文レビュー] CANITA: Faster Rates for Distributed Convex Optimization with Communication Compression

Zhize Li, Peter Richtárik|arXiv (Cornell University)|Jul 20, 2021

Stochastic Gradient Optimization Techniques参考文献 41被引用数 6

ひとこと要約

本稿では、通信圧縮とネステロフ式加速を組み合わせた、分散凸最適化のための新しい圧縮・高速化勾配法CANITAを提案する。ANITAフレームワークを活用し、新たな解析を導入することで、有利な条件下で $O\left(\sqrt{\frac{L}{\epsilon}}\right)$ の高速な収束速度を達成し、通信圧縮を伴う分散問題における現在の最良の非加速レート $O\left(\frac{L}{\epsilon}\right)$ より顕著に向上する。

ABSTRACT

Due to the high communication cost in distributed and federated learning, methods relying on compressed communication are becoming increasingly popular. Besides, the best theoretically and practically performing gradient-type methods invariably rely on some form of acceleration/momentum to reduce the number of communications (faster convergence), e.g., Nesterov's accelerated gradient descent (Nesterov, 1983, 2004) and Adam (Kingma and Ba, 2014). In order to combine the benefits of communication compression and convergence acceleration, we propose a \emph{compressed and accelerated} gradient method based on ANITA (Li, 2021) for distributed optimization, which we call CANITA. Our CANITA achieves the \emph{first accelerated rate} $O\bigg(\sqrt{\Big(1+\sqrt{\frac{ω^3}{n}}\Big)\frac{L}ε} + ω\big(\frac{1}ε\big)^{\frac{1}{3}}\bigg)$, which improves upon the state-of-the-art non-accelerated rate $O\left((1+\fracω{n})\frac{L}ε + \frac{ω^2+ω}{ω+n}\frac{1}ε ight)$ of DIANA (Khaled et al., 2020) for distributed general convex problems, where $ε$ is the target error, $L$ is the smooth parameter of the objective, $n$ is the number of machines/devices, and $ω$ is the compression parameter (larger $ω$ means more compression can be applied, and no compression implies $ω=0$). Our results show that as long as the number of devices $n$ is large (often true in distributed/federated learning), or the compression $ω$ is not very high, CANITA achieves the faster convergence rate $O\Big(\sqrt{\frac{L}ε}\Big)$, i.e., the number of communication rounds is $O\Big(\sqrt{\frac{L}ε}\Big)$ (vs. $O\big(\frac{L}ε\big)$ achieved by previous works). As a result, CANITA enjoys the advantages of both compression (compressed communication in each round) and acceleration (much fewer communication rounds).

研究の動機と目的

• 通信圧縮と加速の組み合わせに関する理論的ギャップを埋めること。
• 各ラウンドで通信を圧縮しつつも、より高速な収束レートを達成する手法を設計すること。
• 通信演算子を備えた分散設定に、ANITA加速フレームワークを拡張すること。
• 一般凸領域において、既存手法よりも明示的に改善された通信複雑度を確立すること。

提案手法

• CANITAは、通信圧縮を伴う分散最適化に適応したANITA加速フレームワークを基に導出される。
• 方法は、$\omega$ でパラメータ化された圧縮演算子を採用しており、$\omega$ が大きいほど圧縮率が高くなる。
• 最適解からの距離、勾配追跡、圧縮誤差を含む項を組み込んだ、新たなリャプノフ関数が構築される。
• 収束を加速するために、自己調整型ステップサイズとモーメンタムパラメータを用いたモーメンタム型更新が採用される。
• 解析により、期待される部分最適性が圧縮および加速パラメータの関数として抑えられる再帰不等式が確立される。
• 主要な技術的補題は、凸性および滑らかさの仮定を用いて、反復間におけるリャプノフ関数の期待減少量をバインドすることに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 分散凸最適化において、通信圧縮と収束加速を理論的に組み合わせることは可能か？
• RQ2 圧縮と加速を同時に使用した場合に達成可能な最適な収束速度は何か？
• RQ3 分散設定において圧縮が存在する状況でも、加速レート $O(\sqrt{L/\epsilon})$ は成立するか？
• RQ4 圧縮パラメータ $\omega$ およびデバイス数 $n$ は、収束速度にどのように影響するか？

主な発見

• CANITAは、$O\left(\sqrt{\left(1+\sqrt{\frac{\omega^3}{n}}\right)\frac{L}{\epsilon}} + \omega\left(\frac{1}{\epsilon}\right)^{1/3}\right)$ の収束速度を達成し、非加速手法DIANAを上回る。
• $n$ が大きく、または $\omega$ が小さい場合、CANITAは加速レート $O\left(\sqrt{\frac{L}{\epsilon}}\right)$ を達成し、通信ラウンド数を $O(L/\epsilon)$ から $O(\sqrt{L/\epsilon})$ に削減する。
• 本手法は、通信圧縮と加速の利点を明示的に組み合わせており、圧縮効率を損なわずに通信ラウンド数を削減可能であることを保証する。
• 解析により、圧縮に起因する分散が、モーメンタムおよび勾配追跡を考慮した新たなリャプノフ関数によって制御されることを示した。
• 標準的な仮定（目的関数の $L$-スムーズ性および凸性）の下で、収束速度の向上が達成されている。