[論文レビュー] 3PC: Three Point Compressors for Communication-Efficient Distributed Training and a Better Theory for Lazy Aggregation

Peter Richtárik, Igor Sokolov+4 more|arXiv (Cornell University)|Feb 2, 2022

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

本稿では、最適化の過程で進化する通信効率の高い分散学習のための新たなアダプティブ勾配圧縮メカニズムである3PC（Three Point Compressors）を紹介する。動的圧縮器選択と洗練されたラージアグリゲーション理論の導入により、EF21 や LAG といった最先端手法よりも低い通信複雑度を達成し、固定通信量および固定コスト設定下の複数のデータセットにおいて、実験的にも優れた性能を示す。

ABSTRACT

We propose and study a new class of gradient communication mechanisms for communication-efficient training -- three point compressors (3PC) -- as well as efficient distributed nonconvex optimization algorithms that can take advantage of them. Unlike most established approaches, which rely on a static compressor choice (e.g., Top-$K$), our class allows the compressors to {\em evolve} throughout the training process, with the aim of improving the theoretical communication complexity and practical efficiency of the underlying methods. We show that our general approach can recover the recently proposed state-of-the-art error feedback mechanism EF21 (Richtárik et al., 2021) and its theoretical properties as a special case, but also leads to a number of new efficient methods. Notably, our approach allows us to improve upon the state of the art in the algorithmic and theoretical foundations of the {\em lazy aggregation} literature (Chen et al., 2018). As a by-product that may be of independent interest, we provide a new and fundamental link between the lazy aggregation and error feedback literature. A special feature of our work is that we do not require the compressors to be unbiased.

研究の動機と目的

• 分散非凸最適化における高い通信コスト、特に大規模およびフェデレーテッドラーニング環境での課題に対処すること。
• Top-K などの静的圧縮手法の限界を克服し、トレーニングの過程で圧縮器を進化可能にする仕組みを提供すること。
• ラージアグリゲーションとエラーフィードバックメカニズムの理論的基盤を統合・強化すること。
• 通信効率の高いアルゴリズムの新クラスを構築し、保証された収束性と低い通信複雑度を実現すること。
• 固定通信予算下で、アダプティブ圧縮が収束速度の向上に寄与することを実験的に示すこと。

提案手法

• 局所勾配のダイナミクスに基づいて圧縮を適応的に調整する3ポイントに基づく勾配圧縮メカニズムのクラス、3PC を提案する。
• アダプティブ圧縮とラージアグリゲーションを統合する一般化されたアルゴリズムフレームワークを導入し、圧縮レベルと更新トリガーを動的に調整可能にする。
• バイアスのない圧縮器を仮定する必要を緩和する新しい理論的分析を構築し、より広範な適用可能性と改善された収束保証を可能にする。
• エラーフィードバックとラージアグリゲーションを統合したハイブリッドメカニズムを採用し、通信頻度を低減するトリガーに基づく更新ポリシーを導入する。
• 複数の2の累乗スケールにわたる最適なステップサイズ選択戦略を採用し、通信効率を最適化する。
• EF21 や LAG を特別なケースとして回復できる統一フレームワークを構築し、体系的な比較と改善を可能にする。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に進化するアダプティブ圧縮メカニズムは、Top-K のような静的手法よりも優れた通信複雑度を達成できるか？
• RQ2 動的圧縮とラージアグリゲーションの統合は、理論的収束性と実用的効率性をどのように向上させるか？
• RQ3 エラーフィードバックとラージアグリゲーションを結びつける統一された理論的フレームワークを構築可能か？その結果、より強い収束保証が得られるか？
• RQ4 通信効率の高い分散学習において、圧縮レベルと更新頻度の最適なトレードオフは何か？
• RQ5 提案手法は、多様なデータセットおよび通信予算下で、EF21 や LAG を上回る通信効率を示すか？

主な発見

• 3PC を基盤とする提案手法 CLAG は、フィッシング、w6a、ijcnn1、a9a といった全テストデータセットで、EF21 や LAG よりも低い通信複雑度を達成した。
• 最小通信コストは、CLAG を EF21 や LAG に還元しない圧縮レベル $K$ とトリガー $\\-zeta$ の組み合わせで常に達成されており、アダプティブ設計の利点を示している。
• クライアント1人あたりの通信コストを32 Mbits に固定した場合、CLAG は EF21 や LAG よりも高速に収束し、w6a、ijcnn1、a9a データセットで顕著な改善が観察された。
• 特に $K < d$ の場合に、CLAG は EF21 や LAG よりも少ないビット数で収束を達成しており、動的圧縮の利点を示している。
• 本稿で開発された理論的フレームワークは、圧縮器のバイアス性を仮定しないことで、ラージアグリゲーションの理論的基盤をより強くした。
• 実験結果は、CLAG の最適設定が EF21 や LAG の範囲外に位置することを確認しており、アダプティブ圧縮器の進化の有効性を裏付けている。