[論文レビュー] $ exttt{DeepSqueeze}$: Decentralization Meets Error-Compensated Compression

Hanlin Tang, Xiangru Lian+5 more|arXiv (Cornell University)|Jul 17, 2019

Complexity and Algorithms in Graphs参考文献 27被引用数 23

ひとこと要約

この論文は、分散型確率的勾配降下法における最初の誤差補償圧縮手法であるDeepSqueezeを紹介している。これにより、収束を維持したまま、能動的な勾配圧縮が可能になる。分散ネットワーク内の隣接ノード間で圧縮誤差を保存・伝搬させることで、従来の手法と比較して優れた通信効率と収束速度を達成し、理論的保証と深層学習ベンチマークにおける実証的検証を兼ね備えている。

ABSTRACT

Communication is a key bottleneck in distributed training. Recently, an \emph{error-compensated} compression technology was particularly designed for the \emph{centralized} learning and receives huge successes, by showing significant advantages over state-of-the-art compression based methods in saving the communication cost. Since the \emph{decentralized} training has been witnessed to be superior to the traditional \emph{centralized} training in the communication restricted scenario, therefore a natural question to ask is "how to apply the error-compensated technology to the decentralized learning to further reduce the communication cost." However, a trivial extension of compression based centralized training algorithms does not exist for the decentralized scenario. key difference between centralized and decentralized training makes this extension extremely non-trivial. In this paper, we propose an elegant algorithmic design to employ error-compensated stochastic gradient descent for the decentralized scenario, named $ exttt{DeepSqueeze}$. Both the theoretical analysis and the empirical study are provided to show the proposed $ exttt{DeepSqueeze}$ algorithm outperforms the existing compression based decentralized learning algorithms. To the best of our knowledge, this is the first time to apply the error-compensated compression to the decentralized learning.

研究の動機と目的

• 中央集権的設定では成功を収めたが、まだ分散型フレームワークに適応されていない誤差補償圧縮を統合することで、分散型分散学習における通信ボトル neck を解消すること。
• 中央集権的学習と分散型学習の構造的差異に起因する非自明な課題、特に能動的圧縮下での収束を維持する課題を克服すること。
• 既存手法よりも高い圧縮比に耐えられる分散型アルゴリズムを設計し、任意の圧縮戦略をサポートすること。
• 理論的収束解析と実証的検証を通じて、最先端の圧縮ベース分散学習アルゴリズムを上回る優れた性能を示すこと。

提案手法

• 連結されたネットワーク内での隣接ノード間通信と誤差補償を組み合わせた分散型確率的勾配降下法であるDeepSqueezeを提案する。
• 各ノードが勾配からの圧縮誤差を保存・蓄積し、現在の勾配と残差誤差の和を圧縮演算子を介して伝送する、新しい誤差伝搬メカニズムを導入する。
• 圧縮勾配更新則を用いる：$ \bm{g}' \leftarrow C_{\omega}[\bm{g} + \bm{\delta}] $、その後に誤差更新：$ \bm{\delta} \leftarrow (\bm{g} + \bm{\delta}) - C_{\omega}[\bm{g} + \bm{\delta}] $、ここで$ \bm{\delta} $は局所的に保存された残差誤差である。
• 隣接ノード間の通信をモデル化するための重み付き混合行列$ W_{\text{eff}} = (1-\eta)I + \eta W $を採用し、分散型平均化における収束を保証する。
• 理論的解析により、標準的な仮定の下で収束が保証され、収束速度は圧縮品質、ネットワーク接続性、ステップサイズに依存する。
• 期待勾配ノルムと誤差項の境界を導出し、誤差補償が適用されることで、能動的圧縮下でも収束が維持されることを証明する。

実験結果

リサーチクエスチョン

• RQ1 通信が中央パラメータサーバーではなく、隣接ノード間のみに制限される分散型学習に、誤差補償圧縮を効果的に拡張できるか？
• RQ2 誤差補償を分散型環境に適用する際、収束性と安定性を維持するために必要なアルゴリズム的修正は何か？
• RQ3 提案手法であるDeepSqueezeは、既存の圧縮ベース分散学習アルゴリズムと比較して、収束速度と通信効率においてどのように異なるか？
• RQ4 能動的圧縮と分散型通信の下で、DeepSqueezeの理論的収束保証は何か？
• RQ5 DeepSqueezeは多様な圧縮演算子をサポートしつつ、頑健な性能を維持できるか？

主な発見

• DeepSqueezeは、分散型学習に誤差補償圧縮を成功裏に適用した最初のアルゴリズムであり、先行研究と比較して著しく高い圧縮比を実現している。
• 理論的解析により、標準的な仮定の下でDeepSqueezeは線形収束を示し、収束速度は圧縮品質とネットワーク接続性に依存する。
• 実証的結果により、複数の深層学習ベンチマークにおいて、収束速度と最終的なモデル精度の両面で、既存の圧縮ベース分散学習手法を上回ることが示された。
• 収束速度は$ \mathbb{E}\left[\|\nabla f(\overline{\bm{x}}_t)\|\right]^2 \lesssim \frac{1}{\sqrt{nT}} + \frac{C_2}{T} $の形で達成され、通信ラウンドに対する高速収束を示している。
• 誤差補償により圧縮によるバイアスが効果的に低減されるため、能動的圧縮下でも安定性と性能が維持されている。
• 理論的境界により、ステップサイズ$ \gamma \leq \frac{1}{3L\sqrt{C_2}} $の範囲であれば、標準条件の下で収束が保証されることを示している。