[論文レビュー] FedADMM: A Federated Primal-Dual Algorithm Allowing Partial Participation

Han Wang, Siddartha Marella+1 more|arXiv (Cornell University)|Mar 28, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

FedADMM は、非凸複合最適化における部分的参加を可能にする新しいフェデレーテッドプライマルデュアルアルゴリズムであり、FedPD を拡張して滑らかでない正則化子に対応する一方で、収束性を維持する。$Ó(\varepsilon^{-2})$ の通信複雑性を達成し、FedDR と等価であることを証明しており、統計的およびシステム的非均質性に対してもロバストである。一般のサンプリングモデル下での理論的収束保証が与えられる。

ABSTRACT

Federated learning is a framework for distributed optimization that places emphasis on communication efficiency. In particular, it follows a client-server broadcast model and is particularly appealing because of its ability to accommodate heterogeneity in client compute and storage resources, non-i.i.d. data assumptions, and data privacy. Our contribution is to offer a new federated learning algorithm, FedADMM, for solving non-convex composite optimization problems with non-smooth regularizers. We prove converges of FedADMM for the case when not all clients are able to participate in a given communication round under a very general sampling model.

研究の動機と目的

• ストレージや信頼性の低い接続を持つシステムにおける、フェデレーテッドラーニングにおける部分的クライアント参加の課題に対処すること。
• 滑らかでない正則化子を伴う非凸・複合最適化問題を扱えるプライマルデュアルアルゴリズムを構築し、既存手法よりも広範な適用可能性を実現すること。
• 全参加を要件としている FedPD を、参加率の低い状況でも収束性と性能を維持できるように部分的参加を許容するように拡張すること。
• FedADMM と FedDR の間の理論的同等性を確立し、共通の収束解析とアルゴリズム的洞察を可能にすること。
• 非 i.i.d. データや不均衡なクライアント参加を含む一般のサンプリングモデル下でも収束保証を与えること。

提案手法

• FedADMM は、非凸 Douglas-Rachford スプリッティング（DRS）の双対定式化をフェデレーテッド最適化問題に適用することで導出され、DRS と ADMM の既知の同等性を活用している。
• アルゴリズムはクライアント・サーバー型アーキテクチャを採用しており、各ラウンドでクライアントの一部のみが参加し、サーバーがデュアルコンSENSUS機構を用いて更新を集約する。
• 滑らかでない正則化子に対してはプロキシマルオペレータを用い、FedProx や FedPD と同様に局所的解法の不正確さを許容することで実用性を向上させる。
• クライアント選択には均一サンプリング方式を採用し、クライアント間のコンセンサスを維持するためのデュアル変数を維持する。
• 主な構成要素には、デュアル変数の更新、局所最適化によるプライマル変数の更新、およびサーバーでのグローバルコンセンサスステップが含まれる。
• FedDR の反復点と FedADMM の反復点との間の1対1かつ全単射の写像関係を確立することで、FedDR が有する収束性の性質をアルゴリズムが継承するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 非凸複合問題に対して、収束性を維持しつつ部分的クライアント参加を許容するプライマルデュアルフェデレーテッドアルゴリズムを設計できるか？
• RQ2 アルゴリズム的構造および収束行動の観点から、FedADMM は FedDR や FedPD とどのように関係しているか？
• RQ3 部分的参加下での FedADMM の通信複雑性は何か？ これは既知の下界と一致するか？
• RQ4 FedADMM は滑らかでない正則化子や制約を処理でき、FedPD の範囲を超えて拡張可能か？
• RQ5 クライアントが部分的に参加する場合、FedADMM は FedDR と同等の収束速度を達成できるか？

主な発見

• FedADMM は、$Ó(\varepsilon^{-2})$ の通信複雑性で $µ$-停留点解に到達でき、非凸フェデレーテッド最適化における既知の下界と一致する。
• FedADMM と FedDR は理論的に同等であり、両者の反復点の間には1対1かつ全単射の写像関係が存在し、同一の収束行動を示す。
• g \equiv 0 の場合、FedADMM は FedPD に簡略化されるが、部分的参加が可能になるため、FedPD の主要な制限要因を克服する。
• 非 i.i.d. データや不均衡なクライアント参加を含む一般のサンプリングモデル下でも収束性が維持される。
• 合成データおよび FEMNIST データセットを用いた数値シミュレーションにより、FedADMM と FedDR が同一の訓練精度および損失を達成することが確認され、理論的同等性が検証された。
• 局所的プロキシマルオペレータの不正確な解法に対しても収束保証が成り立つため、実用的ロバスト性が向上する。