[論文レビュー] FedSplit: An algorithmic framework for fast federated optimization

Reese Pathak, Martin J. Wainwright|arXiv (Cornell University)|May 11, 2020

Stochastic Gradient Optimization Techniques参考文献 28被引用数 81

ひとこと要約

FedSplit は、連合分散設定における分散凸最適化の演算子分割フレームワークを導入し、正しい不動点を証明し、近似的 proximal 更新とさまざまな滑らかさ/強凸性の状況下で収束保証を提供する。

ABSTRACT

Motivated by federated learning, we consider the hub-and-spoke model of distributed optimization in which a central authority coordinates the computation of a solution among many agents while limiting communication. We first study some past procedures for federated optimization, and show that their fixed points need not correspond to stationary points of the original optimization problem, even in simple convex settings with deterministic updates. In order to remedy these issues, we introduce FedSplit, a class of algorithms based on operator splitting procedures for solving distributed convex minimization with additive structure. We prove that these procedures have the correct fixed points, corresponding to optima of the original optimization problem, and we characterize their convergence rates under different settings. Our theory shows that these methods are provably robust to inexact computation of intermediate local quantities. We complement our theory with some simple experiments that demonstrate the benefits of our methods in practice.

研究の動機と目的

• hub-and-spoke モデルにおける通信制限を伴うフェデレーテッド最適化を動機づける。
• 既存のフェデレーテッド手法の固定点を分析し、正しさの問題を特定する。
• 最適な固定点を保持する演算子分割フレームワークとして FedSplit を提案する。
• 近接計算の近似や標準的な凸性/滑らかさの仮定の下で収束保証を提供する。

提案手法

• 分散問題を F(x)=sum_j f_j(x_j) と、x_1=...=x_m の合意制約として定式化する。
• Peaceman-Rachford 分割を適用して FedSplit アルゴリズムを作成し、局所的な近接更新とグローバルな平均化ステップを組み込む。
• FedSplit の固定点が元の分散問題の最適解に対応することを示す（命題3）。
• 強凸性と滑らかさの下での収束結果を提供し、近似的 proximal 更新を含む（定理1）および勾配ベースの proximal 近似（系 Corollary 1）を含む。
• 既存の FedSGD および FedProx の挙動を分析し、それらの固定点が最適でない可能性があることを指摘する（セクション 2）。

実験結果

リサーチクエスチョン

• RQ1 FedSGD と FedProx は分散凸フェデレーテッド問題に対して正しい固定点を保持するか？
• RQ2 演算子分割アプローチは元のフェデレーテッド最適化目的と一致する固定点を生み出せるか？
• RQ3 FedSplit 手法はどの条件で収束し、近似 proximal 計算は収束へどのように影響するか？
• RQ4 強凸性と滑らかさのパラメータは FedSplit の収束速度にどのように影響するか？
• RQ5 近似的 proximal 更新は実務的な全体の収束にどのような影響を与えるか？

主な発見

• 既存の FedSGD および FedProx の決定論的類似物は、凸フェデレーテッド問題に対して非最適な固定点へ収束する可能性がある。
• FedSplit は元の分散問題にとって最適な固定点を保持する（局所変数の平均が最適解を与える）。
• 強凸性と滑らかさの下で、FedSplit は近似 proximal 更新があっても最適解へ幾何収束を達成する（定理1）。
• proximal 評価が正確な場合、FedSplit は条件数 κ に結びつく速度で収束する；近似更新の場合も proximal 誤差に依存する界内で収束を維持する（定理1）。
• 近似 proximal 更新を勾配ステップで行っても、勾配ステップ数が指数関数的に減衰する誤差で、収束保証を維持できる（Corollary 1）。