[論文レビュー] Single-Round Clustered Federated Learning via Data Collaboration Analysis for Non-IID Data

Sota Sugawara, Yuji Kawamata+3 more|arXiv (Cornell University)|Jan 14, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

本論文は、データ協働分析を用いてクライアントをクラスタリングし、非IIDデータ下でクラスター別モデルを訓練する単一ラウンドのクラスタリング型連邦学習フレームワークを提案し、1回の通信ラウンドのみを必要とします。

ABSTRACT

Federated Learning (FL) enables distributed learning across multiple clients without sharing raw data. When statistical heterogeneity across clients is severe, Clustered Federated Learning (CFL) can improve performance by grouping similar clients and training cluster-wise models. However, most CFL approaches rely on multiple communication rounds for cluster estimation and model updates, which limits their practicality under tight constraints on communication rounds. We propose Data Collaboration-based Clustered Federated Learning (DC-CFL), a single-round framework that completes both client clustering and cluster-wise learning, using only the information shared in DC analysis. DC-CFL quantifies inter-client similarity via total variation distance between label distributions, estimates clusters using hierarchical clustering, and performs cluster-wise learning via DC analysis. Experiments on multiple open datasets under representative non-IID conditions show that DC-CFL achieves accuracy comparable to multi-round baselines while requiring only one communication round. These results indicate that DC-CFL is a practical alternative for collaborative AI model development when multiple communication rounds are impractical.

研究の動機と目的

• Federated Learning (FL) におけるクライアント間の統計的異質性の課題に対処する。
• クライアントをクラスタリングし、クラスタ特有のモデルを学習する単一ラウンドのフレームワークを開発する。
• Inter-client similarity を定量化し、クラスタリングと学習を導くためにデータ協働 (DC) アナリシスを活用する。
• 単一ラウンドの DC-CFL がマルチラウンドのベースラインと比較して競争力のある精度を達成することを示す。
• 普及と再現を促進するオープンソースコードを提供する。

提案手法

• ラベル分布間の総変動距離を用いてクライアント間の類似性を定量化する。
• 類似度指標に基づく階層的クラスタリングを用いてクラスタを推定する。
• データ協働分析を通じてクラスタ毎の学習を実施する。
• クラスタリングと学習を単一の通信ラウンドで完了させる。
• 代表的な非IID条件の下で複数のオープンデータセット上で評価する。

実験結果

リサーチクエスチョン

• RQ1 非IIDデータ下で CFL において、クライアントをクラスタリングしクラスタ特有のモデルを訓練するために、1回の通信ラウンドで足りるか？
• RQ2 ラベル分布の総変動距離はクラスタリング目的のクライアント間の類似性をどれだけうまく捉えるか？
• RQ3 DC-CFL は非IID設定でマルチラウンドの CFL ベースラインと比較して精度を達成するか？

主な発見

• DC-CFL は1回の通信ラウンドのみでマルチラウンドベースラインと同等の精度を達成する。
• データ協働ベースの類似度尺度は非IIDシcenarioでのクライアントのクラスタリングを効果的に導くことができる。
• 提案された類似度指標を用いた階層的クラスタリングは、クラスタごとの学習のために類似したクライアントをうまくグルーピングする。
• 複数回の通信ラウンドが現実的でない場合の実用的な代替手段を提供する。