[論文レビュー] FedSSO: A Federated Server-Side Second-Order Optimization Algorithm

Xin Ma, Renyi Bao+6 more|arXiv (Cornell University)|Jun 20, 2022

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

FedSSOは、フェデレーテッドラーニングにおけるサーバー側の2次最適化アルゴリズムを新たに提案し、グローバル・ヘシアンの近似を中央で計算することで、クライアント側の2次通信を排除し、計算負荷をサーバーに移管する。凸および非凸な非IID設定において、通信効率が著しく向上し、O(1/k)の収束速度を達成する。

ABSTRACT

In this work, we propose FedSSO, a server-side second-order optimization method for federated learning (FL). In contrast to previous works in this direction, we employ a server-side approximation for the Quasi-Newton method without requiring any training data from the clients. In this way, we not only shift the computation burden from clients to server, but also eliminate the additional communication for second-order updates between clients and server entirely. We provide theoretical guarantee for convergence of our novel method, and empirically demonstrate our fast convergence and communication savings in both convex and non-convex settings.

研究の動機と目的

• フェデレーテッドラーニングにおける2次最適化手法の高い通信オーバーヘッドと計算負担、特に非IIDデータ分布下での課題に対処すること。
• クライアント側の計算と通信を削減するため、ヘシアン近似をサーバーに集約すること。
• クライアントが2次情報（曲率情報）を送信する必要がないまま、非IIDなFL環境における収束速度と安定性を向上させること。
• フェデレーテッドラーニングにおけるサーバー側クェイジ・ニュートン法の理論的収束保証を提供すること。
• 2次計算をサーバーにオフロードすることで、リソース制約のあるエッジ環境での効率的な学習を可能にすること。

提案手法

• FedSSOは、クライアントが局所的更新を行い、サーバーに勾配のみを送信する、FedAvgに類似したワークフローを採用する。
• サーバーはクライアントの勾配を集約し、グローバル勾配推定値を計算する。
• クライアントのヘシアンデータを必要とせず、勾配の差分を用いてサーバー上でグローバル・ヘシアン行列の近似を実行するクェイジ・ニュートン法が適用される。
• サーバーは近似されたヘシアンを用いてクェイジ・ニュートン降下を実行し、更新されたグローバルモデルをクライアントに送信する。
• クライアントとサーバー間でのヘシアンまたは曲率情報の通信を一切回避することで、通信コストを削減する。
• 理論的分析により、標準的な仮定の下でO(1/k)の収束速度が得られ、これは確率的クェイジ・ニュートン法と同等の性能である。

実験結果

リサーチクエスチョン

• RQ1 サーバー側の2次最適化手法は、フェデレーテッドラーニングにおいてクライアント側のヘシアン通信を完全に排除できるか？
• RQ2 ヘシアン近似をサーバーに集約することで、非IIDなFL設定における収束速度と通信効率が向上するか？
• RQ3 クライアントから2次計算をオフロードしても、FedSSOは収束保証を維持できるか？
• RQ4 第一階層最適化法および既存の第二階層フェデレーテッドラーニング手法と比較して、FedSSOの収束性と通信コストはどのように異なるか？
• RQ5 非IIDデータ下で、フェデレーテッドラーニングにおけるサーバー側クェイジ・ニュートン法の理論的収束速度は何か？

主な発見

• FedSSOはO(1/k)の収束速度を達成し、確率的クェイジ・ニュートン法の理論的レートと一致する。
• クライアントとサーバー間でのヘシアンまたは2次項の通信を完全に排除することで、通信オーバーヘッドを顕著に削減する。
• 実験的結果により、非IIDデータ下の凸および非凸設定において、FedAvgや他の第一階層手法よりも高速に収束することが示された。
• 高いデータ非同一性下でも安定性と性能を維持し、収束速度においてFedProxやScaffoldを上回った。
• 理論的分析により、勾配の分散、リプシッツ定数、および条件数に依存する境界のもとで収束が保証された。
• 2次計算をサーバーに移管することで、ヘシアン計算を処理できないリソース制約のあるエッジ環境への導入が可能になった。