[論文レビュー] Achieving Linear Convergence in Federated Learning under Objective and Systems Heterogeneity.

Aritra Mitra, Rayana H. Jaafar+2 more|arXiv (Cornell University)|Feb 14, 2021

Privacy-Preserving Technologies in Data参考文献 37被引用数 12

ひとこと要約

FedLin は、過去の勾配とクライントごとの学習率を活用することで、目的関数的およびシステム的非同一性の下でもグローバル最小値への線形収束を達成する新しいフェデレーテッドラーニングアルゴリズムである。滑らかで強い凸性、凸性、非凸性の設定において、中心化された最適化法の収束レート（定数倍の差異を除いて）を達成する。また、急激な勾配圧縮が施されても同様に成立する。

ABSTRACT

We consider a standard federated learning architecture where a group of clients periodically coordinate with a central server to train a statistical model. We tackle two major challenges in federated learning: (i) objective heterogeneity, which stems from differences in the clients' local loss functions, and (ii) systems heterogeneity, which leads to slow and straggling client devices. Due to such client heterogeneity, we show that existing federated learning algorithms suffer from a fundamental speed-accuracy conflict: they either guarantee linear convergence but to an incorrect point, or convergence to the global minimum but at a sub-linear rate, i.e., fast convergence comes at the expense of accuracy. To address the above limitation, we propose FedLin - a simple, new algorithm that exploits past gradients and employs client-specific learning rates. When the clients' local loss functions are smooth and strongly convex, we show that FedLin guarantees linear convergence to the global minimum. We then establish matching upper and lower bounds on the convergence rate of FedLin that highlight the trade-offs associated with infrequent, periodic communication. Notably, FedLin is the only approach that is able to match centralized convergence rates (up to constants) for smooth strongly convex, convex, and non-convex loss functions despite arbitrary objective and systems heterogeneity. We further show that FedLin preserves linear convergence rates under aggressive gradient sparsification, and quantify the effect of the compression level on the convergence rate.

研究の動機と目的

• 既存の手法が収束が遅いか誤った解に収束するという、フェデレーテッドラーニングにおける根本的な速度-精度トレードオフを解消すること。
• スローガイストクライントや非 i.i.d. データを含む、任意の目的関数的およびシステム的非同一性の下でもグローバル最小値への線形収束を達成すること。
• 滑らかで強い凸性、凸性、非凸性の設定において、中心化された最適化手法の収束レート（定数倍の差異を除いて）を達成すること。
• 非同一性の下で、周期的通信と勾配スパース化が収束速度に与える影響を分析すること。
• 現実的なフェデレーテッドラーニング環境における収束レートに対する理論的保証を提供すること。

提案手法

• クライントごとの学習率戦略を採用し、局所的な進捗状況と歴史的勾配に基づいて適応的に調整する。
• 過去の勾配を更新ルールに組み込むことで、非同一性環境下での収束を安定化・加速する。
• クライントとサーバー間で周期的な通信を実施し、異なる通信頻度の下での収束を分析する。
• 勾配スパース化を適用し、通信頻度に応じた圧縮レベルを収束速度への影響の観点から定量的に評価する。
• 局所損失関数の滑らかさと強い凸性の仮定を用いて、収束バウンドを理論的に確立する。
• 異なるデータ分布と計算速度を持つクライントでも、線形収束を維持できるように更新ルールを設計する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、目的関数的およびシステム的非同一性の下でもグローバル最小値への線形収束を達成できるか？
• RQ2 非同一性のあるフェデレーテッド環境下で、通信頻度と収束速度のトレードオフは何か？
• RQ3 FedLin は任意のクライント非同一性下でも、中心化された最適化手法の収束レートに匹敵できるか？
• RQ4 勾配圧縮は FedLin の収束速度にどのように影響するか？
• RQ5 異なる損失関数クラスの下で、FedLin の収束速度に対する理論的バウンドは何か？

主な発見

• Smooth で強い凸性を持つ局所損失関数の下でも、任意の目的関数的およびシステム的非同一性の下で、FedLin はグローバル最小値への線形収束を保証する。
• 滑らかで強い凸性、凸性、非凸性の設定において、中心化された手法の収束レート（定数倍の差異を除いて）を達成する。
• FedLin の収束速度は定量的にバウンドされ、周期的通信の下で上界と下界が明確に確立されている。
• 激しい勾配スパース化下でも、FedLin は線形収束を維持でき、圧縮レベルが収束速度に明示的に関連付けられている。
• 高速かつ高精度な収束を同時に実現できるようにすることで、速度-精度トレードオフを効果的に解消する。
• 実験的検証により、非同一性のある条件下でも、既存手法に比べて収束速度と最終的精度の両面で FedLin が優れていることが確認された。