[論文レビュー] FedHybrid: A Hybrid Primal-Dual Algorithm Framework for Federated Optimization

Xiaochun Niu, Ermin Wei|arXiv (Cornell University)|Jun 2, 2021

Distributed Control Multi-Agent Systems参考文献 22被引用数 4

ひとこと要約

FedHybrid は、計算能力に応じて異種クライアントが勾配型またはニュートン型更新を独立して選択できる、フェデレーテッド最適化のための新規ハイブリッドプライマルデュアルアルゴリズムフレームワークを提案する。強い凸関数に対して線形収束を達成し、特に一部のクライアントが2次情報を利用する場合、FedAvg などのベースライン手法を上回る性能を発揮する。

ABSTRACT

We consider a multi-agent consensus optimization problem over a server-client (federated) network, where all clients are connected to a central server. Current distributed algorithms fail to capture the heterogeneity in clients' local computation capacities. Motivated by the generalized Method of Multipliers in centralized optimization, we derive an approximate Newton-type primal-dual method with a practical distributed implementation by utilizing the server-client topology. Then we propose a new primal-dual algorithm framework FedHybrid that allows different clients to perform various types of updates. Specifically, each client can choose to perform either gradient-type or Newton-type updates. We propose a novel analysis framework for primal-dual methods and obtain a linear convergence rate of FedHybrid for strongly convex functions, regardless of clients' choices of gradient-type or Newton-type updates. Numerical studies are provided to demonstrate the efficacy of our method in practice. To the best of our knowledge, this is the first hybrid algorithmic framework allowing heterogeneous local updates for distributed consensus optimization with a provable convergence and rate guarantee.

研究の動機と目的

• 計算能力に差があるクライアントを柔軟かつ理論的に収束保証付きで扱えるフェデレーテッドラーニング用のアルゴリズムが不足している問題に対処すること。
• 1次および2次更新を統合した統一フレームワーク内で、1次および2次更新を組み合わせた分散プライマルデュアル手法を構築すること。
• 強い凸性のもとで、提案されたハイブリッドフレームワークに対して線形（Q線形）収束を理論的に保証すること。
• 非 IID データ分割を想定した合成および実世界のデータセットを用いた数値実験を通じて、実用的有効性を示すこと。

提案手法

• 一般化された乗数法に基づくフレームワークであり、プライマルおよびデュアルのヘッセ行列の分散近似を用いてニュートン型更新を可能にする。
• クライアントは計算リソースに応じて、勾配型またはニュートン型の局所更新を選択可能である。
• サーバーは、クライアント間で $ x_0 = x_i $ を満たすように、共通制約行列 $ W $ を用いて一致を強制する。
• クライアントの更新タイプ選択にかかわらず、最終反復の線形収束を保証するための新しい解析フレームワークを構築した。
• 双対更新とプライマル更新のバランスを保つために、罰則パラメータ $ \rho $ を用い、安定性と収束性を確保した。
• サーバー・クライアントトポロジーで実装されており、サーバーは生データの交換なしに更新を集約・調整する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド最適化フレームワークは、異種クライアントが1次および2次更新を混合して使用しながらも収束性を維持できるか？
• RQ2 クライアントが勾配更新とニュートン更新を独立して選択する場合、ハイブリッドプライマルデュアルアルゴリズムの収束速度はどのようになるか？
• RQ3 非 IID 環境下で、ニュートン型更新の導入が、純粋な1次情報手法と比較して収束速度に与える影響は何か？
• RQ4 2次情報を利用した分散的な方法で、理論的に収束保証が得られるフェデレーテッド共通最適化用アルゴリズムを設計できるか？

主な発見

• FedHybrid は、クライアントが勾配型またはニュートン型更新を使用するかに関わらず、強い凸関数に対して線形（Q線形）収束を達成する。
• 収束速度において、特に一部のクライアントがニュートン型更新を実行する場合、FedAvg を上回る性能を示す。
• すべてのクライアントがニュートン型更新を実行する場合（FedH-Nバージョン）、DiSCO（最先端の2次情報手法）と同等の収束性能を達成する。
• ニュートン型更新を実行するクライアント数を増やすことで、全体の収束がより速くなることが示され、ハイブリッド手法のスケーラビリティが裏付けられた。
• 合成データおよび実世界のデータセット（ボストン住宅、キノコ）を用いた数値実験により、非 IID データ分割下でも本手法の有効性が確認された。