[논문 리뷰] Single-Round Clustered Federated Learning via Data Collaboration Analysis for Non-IID Data

Sota Sugawara, Yuji Kawamata외 3명|arXiv (Cornell University)|2026. 01. 14.

Privacy-Preserving Technologies in Data인용 수 0

한 줄 요약

본 논문은 DC-CFL을 소개합니다. 이는 비독립동일분포(non-IID) 데이터 하에서 클라이언트를 클러스터링하고 클러스터별 모델을 학습시키는 데이터 협업 분석을 활용한 단일 라운드 클러스터링 연합학습 프레임워크이며, 단 한 번의 통신 라운드만 필요합니다.

ABSTRACT

Federated Learning (FL) enables distributed learning across multiple clients without sharing raw data. When statistical heterogeneity across clients is severe, Clustered Federated Learning (CFL) can improve performance by grouping similar clients and training cluster-wise models. However, most CFL approaches rely on multiple communication rounds for cluster estimation and model updates, which limits their practicality under tight constraints on communication rounds. We propose Data Collaboration-based Clustered Federated Learning (DC-CFL), a single-round framework that completes both client clustering and cluster-wise learning, using only the information shared in DC analysis. DC-CFL quantifies inter-client similarity via total variation distance between label distributions, estimates clusters using hierarchical clustering, and performs cluster-wise learning via DC analysis. Experiments on multiple open datasets under representative non-IID conditions show that DC-CFL achieves accuracy comparable to multi-round baselines while requiring only one communication round. These results indicate that DC-CFL is a practical alternative for collaborative AI model development when multiple communication rounds are impractical.

연구 동기 및 목표

• 연합학습(Federated Learning, FL)에서 클라이언트 간의 통계적 이질성 문제를 해결한다.
• 클라이언트를 클러스터링하고 클러스터별 모델을 학습하는 단일 라운드 프레임워크를 개발한다.
• 클러스터 간 유사성을 정량화하고 클러스터링 및 학습을 안내하기 위해 데이터 협업(DC) 분석을 활용한다.
• 단일 라운드 DC-CFL이 다중 라운드 기준선과 비교해 경쟁력 있는 정확도를 달성한다.
• 채택과 재현성을 촉진하기 위한 오픈 소스 코드를 제공한다.

제안 방법

• 레이블 분포 간의 전체 변이 거리(total variation distance)를 통해 클라이언트 간 유사성을 정량화한다.
• 유사성 측정을 기반으로 계층적 클러스터링을 사용해 클러스터를 추정한다.
• 데이터 협업 분석을 통해 클러스터별 학습을 수행한다.
• 클러스터링과 학습을 한 통신 라운드에서 모두 완료한다.
• 대표적인 non-IID 조건에서 여러 공개 데이터셋으로 평가한다.

실험 결과

연구 질문

• RQ1 비 IID 데이터에서 CFL에서 클라이언트를 클러스터링하고 클러스터별 모델을 학습하기 위해 단일 통신 라운드가 충분한가?
• RQ2 레이블 분포의 총변이 거리(total variation distance)가 클러스터링 목적을 위해 클라이언트 간 유사성을 얼마나 잘 포착하는가?
• RQ3 DC-CFL이 비 IID 환경에서 다중 라운드 기준선과 비교해 정확도를 달성하는가?

주요 결과

• DC-CFL은 단일 통신 라운드만 사용하면서 다중 라운드 기준선과 유사한 정확도를 달성한다.
• 데이터 협업 기반의 유사성 측정은 비 IID 시나리오에서 클라이언트의 클러스터링을 효과적으로 안내할 수 있다.
• 제안된 유사성 지표를 사용한 계층적 클러스터링은 클러스터별 학습을 위한 유사한 클라이언트를 성공적으로 그룹화한다.
• 다중 통신 라운드가 실용적이지 않을 때 이 방법은 실용적인 대안을 제공한다.