[論文レビュー] Similarity, Compression and Local Steps: Three Pillars of Efficient Communications for Distributed Variational Inequalities

Aleksandr Beznosikov, Takáč, Martin+1 more|arXiv (Cornell University)|Feb 15, 2023

Contact Mechanics and Variational Inequalities被引用数 5

ひとこと要約

本稿では、通信コストを低減するための3つの主要技術である類似性、圧縮、局所ステップを統合する、分散変分不等式に対する新規な分散アルゴリズムを提案する。これらの柱を効果的に統合することで、理論的・実践的両面で最適な通信複雑性と優れた収束速度を達成し、合成データおよび実データを用いた敵対的学習実験により検証された。

ABSTRACT

Variational inequalities are a broad and flexible class of problems that includes minimization, saddle point, and fixed point problems as special cases. Therefore, variational inequalities are used in various applications ranging from equilibrium search to adversarial learning. With the increasing size of data and models, today's instances demand parallel and distributed computing for real-world machine learning problems, most of which can be represented as variational inequalities. Meanwhile, most distributed approaches have a significant bottleneck - the cost of communications. The three main techniques to reduce the total number of communication rounds and the cost of one such round are the similarity of local functions, compression of transmitted information, and local updates. In this paper, we combine all these approaches. Such a triple synergy did not exist before for variational inequalities and saddle problems, nor even for minimization problems. The methods presented in this paper have the best theoretical guarantees of communication complexity and are significantly ahead of other methods for distributed variational inequalities. The theoretical results are confirmed by adversarial learning experiments on synthetic and real datasets.

研究の動機と目的

• 分散機械学習における変分不等式の通信ボトルneckを解消すること。変分不等式は最小化問題、サドルポイント問題、固定点問題を含む広範な問題クラスを含む。
• 類似性、圧縮、局所更新の3つの通信削減技術のうち、1つまたは2つのみを適用する既存手法の制限を克服すること。
• 類似性、圧縮、局所ステップの3つの柱を統合した、理論的裏付けのあるアルゴリズムを、分散変分不等式の文脈で開発すること。
• 分散変分不等式およびサドルポイント問題に対して、これまでに報告された中で最良の理論的通信複雑性を達成すること。
• 合成データおよび実世界のデータセットを用いた敵対的学習実験を通じて、本手法を経験的に検証すること。

提案手法

• デバイス間のデータ類似性を活用し、局所関数が概ね等しいと仮定することで、より効率的な通信および更新戦略を可能にする。
• 通信ラウンドごとの送信情報量を削減するための圧縮技術を適用し、収束品質を損なわずに実現する。
• 複数回の局所更新を同期の前に実行することで、通信ラウンドの総数を削減するための局所ステップを統合する。
• モーメンタム、適応的ステップサイズ、制御変数メカニズムを用いた分散変分不等式のための新規アルゴリズム（アルゴリズム1および2）を設計する。
• 収束安定性を向上させるために、主反復列とモーメンタムに基づく補助反復列の2つの列を維持するハイブリッド更新ルールを導入する。
• 収束速度と安定性のバランスを取るステップサイズ選択ルールを導入し、問題の条件数、圧縮誤差、局所関数類似性に明示的な依存関係を設ける。

実験結果

リサーチクエスチョン

• RQ1 類似性、圧縮、局所ステップの3つの主な通信削減技術を、分散変分不等式の文脈で1つのアルゴリズムに統合できるか？
• RQ2 3つの技術の相乗効果により、既存手法と比較して理論的通信複雑性が向上するか？
• RQ3 提案手法は実際の収束速度が速く、特に敵対的学習環境で優れた性能を示すか？
• RQ4 圧縮、局所更新、関数類似性の相互作用が収束保証および通信効率にどのように影響するか？
• RQ5 標準仮定の下で、提案手法の理論的収束速度は最適か？

主な発見

• 提案アルゴリズムは、$\mathcal{O}\left(\frac{L}{\mu} \log \frac{1}{\varepsilon}\right)$の通信複雑性を達成し、エキストラ勾配法で報告された最良のレートと一致するが、圧縮と局所ステップを統合している。
• 合成データおよび実データを用いた敵対的学習実験において、既存のベースラインを上回る優れた収束行動を示した。
• 理論的分析により、$\left(1 - \frac{\gamma\mu}{2}\right)^K$の線形収束レートが得られ、$\gamma$はステップサイズ、$\mu$は強い単調性パラメータである。
• 圧縮と関数類似性の仮定下でも収束を維持でき、誤差伝搬に対して明示的なバウンドが得られている。
• モーメンタムと適応的ステップサイズ選択の導入により、標準的なエキストラ勾配法や局所SGDと比較して、安定性と収束速度が顕著に向上した。
• 標準仮定（リプシッツ連続性、強い単調性、有界な圧縮誤差）の下で理論的保証が確立されており、$\delta$（関数類似性）および$\gamma$（ステップサイズ）に明示的な依存関係がある。