[論文レビュー] An Improved Algorithm for Clustered Federated Learning

Harshvardhan, Avishek Ghosh+1 more|arXiv (Cornell University)|Oct 20, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、IFCAなどの先行手法が抱えるクラスタ数の事前知識および良好な初期化の必要性を解消する、新規のフェデレーテッドクラスタリング手法SR-FCAを提案する。初期にシングルトンクラスタを設定し、各クラスタ内でロバストなフェデレーテッドラーニングを用いて繰り返し精錬することで、適切な学習率選択のもと、任意に小さいクラスタリング誤差を達成する。非凸なニューラルネットワークタスクにおいて、強力な収束性と性能を示す。

ABSTRACT

In this paper, we address the dichotomy between heterogeneous models and simultaneous training in Federated Learning (FL) via a clustering framework. We define a new clustering model for FL based on the (optimal) local models of the users: two users belong to the same cluster if their local models are close; otherwise they belong to different clusters. A standard algorithm for clustered FL is proposed in \cite{ghosh_efficient_2021}, called exttt{IFCA}, which requires \emph{suitable} initialization and the knowledge of hyper-parameters like the number of clusters (which is often quite difficult to obtain in practical applications) to converge. We propose an improved algorithm, \emph{Successive Refine Federated Clustering Algorithm} ( exttt{SR-FCA}), which removes such restrictive assumptions. exttt{SR-FCA} treats each user as a singleton cluster as an initialization, and then successively refine the cluster estimation via exploiting similar users belonging to the same cluster. In any intermediate step, exttt{SR-FCA} uses a robust federated learning algorithm within each cluster to exploit simultaneous training and to correct clustering errors. Furthermore, exttt{SR-FCA} does not require any \emph{good} initialization (warm start), both in theory and practice. We show that with proper choice of learning rate, exttt{SR-FCA} incurs arbitrarily small clustering error. Additionally, we validate the performance of our algorithm on standard FL datasets in non-convex problems like neural nets, and we show the benefits of exttt{SR-FCA} over baselines.

研究の動機と目的

• 既存のクラスタリング付きフェデレーテッドラーニング手法が要求する良好な初期化および既知のクラスタ数の不切実性を解消すること。
• クラスタ数や初期化に関する事前仮定なしにクラスタを自動的に推定できる手法を開発すること。
• ディープニューラルネットワークのような非凸なFL設定において、収束性と低クラスタリング誤差を保証すること。
• 異種FL環境における効率性と正確性を向上させるために、同時に学習とクラスタリングの精錬を可能にすること。

提案手法

• 各クライアントをシングルトンクラスタとして初期化し、ウォームスタートや事前のクラスタ知識に依存しない。
• 局所モデルの類似度に基づいて、近接するクラスタを統合する逐次的精錬戦略を用いる。
• 各反復において各クラスタ内でロバストなフェデレーテッドラーニングアルゴリズムを適用し、モデルの正確性を向上させるとともにクラスタリング誤差を是正する。
• 損失関数の強い凸性および滑らかさの性質を活用し、理論的収束保証を確立する。
• ユニオンバウンドと集中不等式を用いて、すべてのクラスタ全体におけるクラスタリング誤差確率をバウンドする。
• 座標ごとのリプシッツ条件とコーシー・シュワルツを用いて、収束解析のためのグローバルリプシッツ定数を導出する。

実験結果

リサーチクエスチョン

• RQ1 クラスタ数の既知の情報や良好な初期化を必要としないフェデレーテッドクラスタリングアルゴリズムは収束可能か？
• RQ2 ディープラーニングのような非凸なFL設定において、クラスタリング誤差はどのように最小化できるか？
• RQ3 クラスタの繰り返し精錬に加え、クラスタ内でのFLを組み合わせることで、クラスタリングの正確性と収束性は向上するか？
• RQ4 最小限の仮定のもとで、クラスタリング誤差にどのような理論的保証を提供できるか？
• RQ5 実験的に、ベースラインと比較して本手法はクラスタリング正確性と収束速度の面でどのように優れているか？

主な発見

• 適切な学習率選択のもと、クラスタ数の事前知識がなくてもSR-FCAは任意に小さいクラスタリング誤差を達成する。
• 理論的および実験的に、ウォームスタートや初期化の必要性を排除した最小限の仮定のもとで収束する。
• 理論的分析により、1クラスタあたりのクラスタリング誤差の確率は $ \frac{4d}{(1 + nc_{\min}\hat{L}D)^d} $ でバウンドされ、データ量やクラスタサイズの増加に従って減少することが示された。
• すべてのクラスタにわたるユニオンバウンドにより、総誤差バウンドは $ \frac{mu''}{c_{\min}} $ となり、$ c_{\min} $ が0から離れている限り、小さな値を保つ。
• 標準的なFLデータセットにおける実験的評価により、SR-FCAは非凸な設定（ニューラルネットワークなど）においてベースラインを上回ることが確認された。
• 局所モデルが同一ではないが近接している状況でも、本手法はロバスト性と収束性を維持しており、現実のFLの非均質性を反映している。