[論文レビュー] On the Convergence of Clustered Federated Learning

Jie Ma, Guodong Long+3 more|arXiv (Cornell University)|Feb 13, 2022

Privacy-Preserving Technologies in Data被引用数 25

ひとこと要約

クラスタリングされた連邦学習を再検討し、二階層最適化フレームワークを定式化し、WeCFLを導入し、クラスタリング可能な非IIDデータの下で収束保証を提供する。

ABSTRACT

Knowledge sharing and model personalization are essential components to tackle the non-IID challenge in federated learning (FL). Most existing FL methods focus on two extremes: 1) to learn a shared model to serve all clients with non-IID data, and 2) to learn personalized models for each client, namely personalized FL. There is a trade-off solution, namely clustered FL or cluster-wise personalized FL, which aims to cluster similar clients into one cluster, and then learn a shared model for all clients within a cluster. This paper is to revisit the research of clustered FL by formulating them into a bi-level optimization framework that could unify existing methods. We propose a new theoretical analysis framework to prove the convergence by considering the clusterability among clients. In addition, we embody this framework in an algorithm, named Weighted Clustered Federated Learning (WeCFL). Empirical analysis verifies the theoretical results and demonstrates the effectiveness of the proposed WeCFL under the proposed cluster-wise non-IID settings.

研究の動機と目的

• FLにおける個別化と一般化のバランスを取るため、クラスタごとの非IIDモデリングを動機づける。
• 既存のクラスタ型FL手法を二階層最適化フレームワークの下で統一する。
• 新規の加重クラスタ型フェデレーテッドラーニング（WeCFL）アルゴリズムを提案する。
• クラスタ性測度と重み付きクラスタリングを組み込んだ理論的収束フレームワークを開発する。

提案手法

• 各クライアントをモデルパラメータで表し、パラメータ空間におけるユークリッド距離を用いて類似度を測定する。
• クラスタ型FLを、上位レベルのFL目的と下位レベルのクラスタリング目的を持つ二階層最適化問題として定式化する。
• EMベースのクラスタリング手順とクラスタ別のFedAvg風集約を交互に実行するWeCFLアルゴリズムを開発する。
• クライアント重要度ウェイトをクラスタリングと集約に組み込み、FL損失と整合させる。
• WeCFLが収束する条件と適切な学習率下での1/T収束率を示す収束解析を提供する。

実験結果

リサーチクエスチョン

• RQ1 FLクライアント間のクラスタ性を原理的に定義し測定するにはどうすべきか？
• RQ2 クラスタを有する非IIDデータの下で、クラスタ型FLを分析・収束保証できるか？
• RQ3 重み付きクラスタリング手法は、既存のクラスタ型FL手法と比較して性能と収束を改善するか？
• RQ4 クラスタ数Kとデータのヘテロジニティが収束と性能に与える影響は何か？

主な発見

• WeCFLはFashion-MNISTおよびCIFAR-10におけるクラスタごとの非IID設定で、ベースラインFLおよびいくつかのクラスタ型FL手法より優れている。
• 報告された実験では、CIFAR-10で(3,2)-クラス非IID設定の下、IFCAおよびFeSEMよりWeCFLが収束が速い。
• クラスタリング結果は、クラス間の相違が大きく、クラス内の類似性が低いことを示し、効果的なクラスタリングを示唆している。
• 理論解析はWeCFLが収束する条件と、適切な学習率下で1/T収束率を示す。