[論文レビュー] Artemis: tight convergence guarantees for bidirectional compression in Federated Learning.

Constantin Philippenko, Aymeric Dieuleveut|arXiv (Cornell University)|Jun 25, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用数 17

ひとこと要約

Artemisは、メモリ機構を用いてワーカー間およびサーバー間の通信を双方向に圧縮するフェデレーテッドラーニング向けの双方向圧縮アルゴリズムを提案する。弱い仮定のもとで線形収束率を達成し、部分的参加を伴う非i.i.d.設定においてもきめ細やかな理論的保証を提供する。

ABSTRACT

We introduce a new algorithm - Artemis - tackling the problem of learning in a distributed framework with communication constraints. Several workers (randomly sampled) perform the optimization process using a central server to aggregate their computation. To alleviate the communication cost, Artemis compresses the information sent in both directions (from the workers to the server and conversely) combined with a memory mechanism. It improves on existing quantized federated learning algorithms that only consider unidirectional compression (to the server), or use very strong assumptions on the compression operator, and often do not take into account devices partial participation. We provide fast rates of convergence (linear up to a threshold) under weak assumptions on the stochastic gradients (noise's variance bounded only at optimal point) in non-i.i.d. setting, highlight the impact of memory for unidirectional and bidirectional compression, analyze Polyak-Ruppert averaging. We use convergence in distribution to obtain a lower bound of the asymptotic variance that highlights practical limits of compression. And we provide experimental results to demonstrate the validity of our analysis.

研究の動機と目的

• 通信ボトル neck を軽減するため、フェデレーテッドラーニングにおける効率的な双方向圧縮を実現すること。
• 部分的ワーカー参加を伴う非i.i.d.データ設定における収束速度を向上させること。
• 勾配ノイズに関する弱い仮定のもとでの理論的収束保証を提供すること。
• メモリの役割を単方向および双方向圧縮の両設定において分析すること。
• 分布収束を用いた漸近的分散の上限を導出し、圧縮の実用的限界を明らかにすること。

提案手法

• Artemisは、ワーカーからサーバーへの勾配圧縮およびサーバーからワーカーへの圧縮を含む双方向圧縮を採用する。
• 収束効率を向上させるために、圧縮誤差を保存・再利用するメモリ機構を組み込む。
• 安定性と収束性を高めるためにPolyak-Ruppert平均化を用いる。
• 漸近的分散の下限を導くために、分布収束を用いた収束分析を行う。
• 理論的分析では、最適点における確率的勾配の分散が有界であるという仮定のみを採用し、グローバルには仮定しない。
• 現実的なフェデレーテッドラーニングのシナリオを反映するため、ワーカーの部分的参加をサポートする。

実験結果

リサーチクエスチョン

• RQ1 弱い仮定のもとで、メモリを用いた双方向圧縮は、フェデレーテッドラーニングにおける収束をどのように改善するか？
• RQ2 単方向圧縮と比較して、メモリは双方向圧縮における収束にどのような影響を与えるか？
• RQ3 部分的ワーカー参加は、双方向圧縮を用いた収束にどのように影響するか？
• RQ4 漸近的分散の観点から、圧縮の実用的限界は何か？
• RQ5 Polyak-Ruppert平均化と分布収束は、理論的境界にどのように影響を与えるか？

主な発見

• Artemisは、弱い仮定のもとで、最適点における勾配ノイズ分散が有界であるという条件下で、しきい値まで線形収束率を達成する。
• メモリ機構は、単方向および双方向圧縮の両設定において収束性能を顕著に向上させる。
• 分布収束を用いた分析により、漸近的分散の下限が特定され、フェデレーテッドラーニングにおける圧縮の本質的限界が明らかになった。
• 収束速度と安定性の両面で、双方向圧縮は単方向圧縮を上回る。
• 実験結果は理論的分析を裏付け、提案手法の実用的有効性を示している。
• 部分的参加の状況下でも、強力な性能を維持しており、現実のフェデレーテッドラーニング環境を反映している。