[논문 리뷰] FedAC: An Adaptive Clustered Federated Learning Framework for Heterogeneous Data

Yuxin Zhang, Haoyu Chen외 3명|arXiv (Cornell University)|2024. 03. 25.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

FedAC는 글로벌 지식과 클러스터 내 지식을 융합하기 위해 신경망을 하위 모듈로 분해하고, 온라인 클러스터링을 위해 저랭크 코사인 유사도를 사용하며, 비 IID 데이터 처리를 위해 클러스터 수를 동적으로 조정하는 적응형 클러스터링 연합학습 프레임워크이다.

ABSTRACT

Clustered federated learning (CFL) is proposed to mitigate the performance deterioration stemming from data heterogeneity in federated learning (FL) by grouping similar clients for cluster-wise model training. However, current CFL methods struggle due to inadequate integration of global and intra-cluster knowledge and the absence of an efficient online model similarity metric, while treating the cluster count as a fixed hyperparameter limits flexibility and robustness. In this paper, we propose an adaptive CFL framework, named FedAC, which (1) efficiently integrates global knowledge into intra-cluster learning by decoupling neural networks and utilizing distinct aggregation methods for each submodule, significantly enhancing performance; (2) includes a costeffective online model similarity metric based on dimensionality reduction; (3) incorporates a cluster number fine-tuning module for improved adaptability and scalability in complex, heterogeneous environments. Extensive experiments show that FedAC achieves superior empirical performance, increasing the test accuracy by around 1.82% and 12.67% on CIFAR-10 and CIFAR-100 datasets, respectively, under different non-IID settings compared to SOTA methods.

연구 동기 및 목표

• 연합학습의 데이터 이질성을 해소하기 위해 유사한 클라이언트의 클러스터를 형성한다.
• 신경망 분리로 글로벌 지식을 클러스터 내 학습에 통합할 수 있도록 한다.
• 동적 클러스터링을 위한 비용 효율적인 온라인 모델 유사도 지표를 제공한다.
• 학습 중 클러스터 수를 동적으로 조정하여 확장성 및 강건성을 향상시킨다.
• SOTA 방법과 비교해 CIFAR-10/100 비IID 데이터에서 우수한 성능을 입증한다.

제안 방법

• 신경망을 임베딩(phi) 모듈과 의사결정(h) 모듈로 분리하고 서로 다른 집계 전략을 적용한다.
• 글로벌 임베딩 Phi와 클러스터 중심 모델 Omega_k를 사용해 L_global 및 L_intra 항으로 로컬 업데이트를 규칙화한다.
• 차원 축소 모델을 기반으로 한 저랭크 코사인 유사도(LrCos)를 도입해 온라인 모델 유사도를 측정한다.
• E-단계는 클라이언트-클러스터 할당, M-단계는 클러스터 중심 업데이트를 포함한 EM 유사 재클러스터링 기제를 구현한다.
• 클러스터 간 거리(Dist_intra, Dist_inter)를 바탕으로 CNT 모듈로 클러스터 수 K를 동적으로 조정한다.
• 감독 손실, 클러스터 내 규칙화, 글로벌 규칙화를 교대 최소화하는 이중 최적화 objective를 최적화한다.

실험 결과

연구 질문

• RQ1 CFL에서 글로벌 지식을 클러스터 내 학습에 어떻게 효과적으로 통합할 수 있는가?
• RQ2 비용 효율적인 온라인 유사도 지표가 과도한 오버헤드 없이 동적 클러스터링을 안내할 수 있는가?
• RQ3 적응형 클러스터 수가 이질적 FL 환경에서 성능과 강건성을 향상시키는가?
• RQ4 FedAC의 규칙화 항에서 클러스터 내 정보와 글로벌 정보 간의 trade-off는 무엇인가?

주요 결과

Method	CIFAR-10 (alpha=0.1, n=3)	CIFAR-10 (alpha=0.1, n=8)	CIFAR-100 (alpha=0.1, n=3)	CIFAR-100 (alpha=0.1, n=8)
FedAvg	64.75 ± 1.21	62.73 ± 0.42	35.36 ± 0.92	33.33 ± 0.42
FedPer	70.84 ± 1.44	79.36 ± 0.54	43.46 ± 1.27	62.10 ± 0.63
FeSEM	65.65 ± 1.28	76.46 ± 0.63	31.03 ± 0.80	52.15 ± 2.45
FedGroup	67.38 ± 1.34	76.77 ± 1.00	33.26 ± 1.01	57.02 ± 0.84
FL+HC	67.80 ± 0.84	80.22 ± 0.68	34.19 ± 1.33	57.99 ± 0.66
CGPFL	71.19 ± 0.93	79.42 ± 0.46	41.38 ± 0.69	60.26 ± 0.94
IFCA	73.06 ± 0.91	80.54 ± 0.74	38.61 ± 0.77	60.18 ± 0.76
FedAC	74.88 ± 0.65	81.29 ± 0.61	51.28 ± 0.35	64.53 ± 0.34

• FedAC는 비 IID 설정에서 CIFAR-10 및 CIFAR-100에서 SOTA 방법보다 테스트 정확도가 높으며( CIFAR-10에서 1.82%, CIFAR-100에서 12.67% 향상).
• 임베딩과 의사결정 모듈의 분리를 통한 서로 다른 집계 전략은 글로벌 지식과 클러스터 내 지식의 통합을 개선한다.
• 저랭크 코사인 유사도(LrCos)는 데이터 분포의 유사성과 잘 정렬되고 차원 축소를 통해 계산을 감소시킨다.
• CNT 모듈은 학습 중 클러스터 수를 효과적으로 조정해 초기화 및 고정-K 설정에 대한 강건성을 향상시킨다.
• 에블레이션 연구를 통해 FedAC의 최적 성능에 글로벌 규칙자와 클러스터 내 규칙자가 모두 필요함을 확인했다.