[논문 리뷰] FedGroup: Accurate Federated Learning via Decomposed Similarity-Based Clustering

Moming Duan, Duo Liu외 5명|arXiv (Cornell University)|2020. 10. 14.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 6

한 줄 요약

FedGroup는 유사도 기반 클라이언트 군집화 프레임워크를 제안하여 최적화 방향이 유사한 클라이언트를 군집화함으로써 모델 정확도를 향상시키고, HDLSS 벡터 분해를 통해 계산 복잡도를 감소시키며, 신규 클라이언트의 쿨스타트를 가능하게 한다. 이는 FEMNIST에서 FedProx 대비 +14.7%의 테스트 정확도 향상을, Sentiment140에서는 +5.4%의 향상을 달성한다.

ABSTRACT

Federated Learning (FL) enables the multiple participating devices to collaboratively contribute to a global neural network model while keeping the training data locally. Unlike the centralized training setting, the non-IID and imbalanced (statistical heterogeneity) training data of FL is distributed in the federated network, which will increase the divergences between the local models and global model, further degrading performance. In this paper, we propose a novel clustered federated learning (CFL) framework FedGroup based on a similarity-based client clustering strategy, in which we 1) group the training of clients based on the similarities between the clients' optimize directions for high training performance; 2) reduce the complexity of client clustering algorithm by decomposing the high-dimension low-sample size (HDLSS) direction vectors. 3) implement a newcomer device cold start mechanism based on the auxiliary global model for framework scalability and practicality. FedGroup can achieve improvements by dividing joint optimization into groups of sub-optimization, and can be combined with FedProx, the state-of-the-art federated optimization algorithm. We evaluate FedGroup and FedGrouProx (combined with FedProx) on several open datasets. The experimental results show that our proposed frameworks significantly improving absolute test accuracy by +14.7% on FEMNIST compared to FedAvg, +5.4% on Sentiment140 compared to FedProx.

연구 동기 및 목표

• 클라이언트 간 데이터의 비독립 동일분포 및 불균형으로 인한 통계적 이질성 문제 해결.
• 유사한 최적화 방향을 가진 클라이언트를 군집화하여 국소 모델과 글로벌 모델 간의 분리도 감소.
• 고차원, 저표본 크기(HDLSS) 환경에서 클라이언트 군집화의 계산 복잡도 감소.
• 보조 글로벌 모델을 활용한 쿨스타트 메커니즘 도입을 통해 실용적 구현 가능.
• 공동 최적화를 하위 최적화 그룹으로 분해함으로써 학습 성능 향상.

제안 방법

• 최적화 방향 벡터 간 코사인 유사도 기반으로 클라이언트를 군집화하여 유사한 모델 업데이트 패턴을 가진 그룹 형성.
• 고차원, 저표본 크기(HDLSS) 방향 벡터를 저차원 성분으로 분해하여 군집화 복잡도 감소.
• 각 클라이언트 그룹 내에서 하위 최적화를 적용하여 글로벌 모델에서의 분리도 감소 및 수렴성 향상.
• 보조 글로벌 모델을 활용한 쿨스타트 메커니즘을 통합하여 전체 재학습 없이도 신규 클라이언트 초기화 가능.
• FedGrouProx를 구성하기 위해 FedGroup과 FedProx를 통합하여 성능 향상과 기존 페더레이티드 러닝 프레임워크 호환성 유지.

실험 결과

연구 질문

• RQ1 최적화 방향 유사도 기반 클라이언트 군집화가 통계적 이질성 하에서 페더레이티드 러닝 성능에 어떻게 기여하는가?
• RQ2 HDLSS 벡터 분해가 페더레이티드 클라이언트 군집화의 복잡도 감소에 미치는 영향은 무엇인가?
• RQ3 보조 글로벌 모델 기반 쿨스타트 메커니즘이 동적인 페더레이티드 네트워크에서 확장성과 실용성에 어떻게 기여하는가?
• RQ4 클라이언트를 하위 최적화 그룹으로 군집화하는 것이 전역 공동 최적화 대비 수렴성과 테스트 정확도에 미치는 영향는 어떠한가?
• RQ5 FedGroup을 FedProx와 결합하여 비독립 동일분포 데이터에서 성능을 추가로 향상시킬 수 있는 정도는 어느 정도인가?

주요 결과

• FedGroup은 FedAvg 대비 FEMNIST 데이터셋에서 테스트 정확도를 14.7% 향상시켰다.
• FedGrouProx는 Sentiment140 데이터셋에서 FedProx 대비 테스트 정확도를 5.4%p 향상시켰다.
• 유사도 기반 군집화 전략은 방향이 일치하는 클라이언트를 군집화함으로써 국소 모델과 글로벌 모델 간의 분리도를 효과적으로 감소시켰다.
• HDLSS 벡터 분해 기법은 군집화 품질을 손상시키지 않으면서도 클라이언트 군집화의 계산 복잡도를 크게 감소시켰다.
• 쿨스타트 메커니즘은 보조 글로벌 모델을 활용하여 새로운 장치의 페더레이티드 시스템에 원활하게 통합할 수 있도록 했다.
• 이 프레임워크는 FedProx와 호환성을 유지하여 실용적인 페더레이티드 러닝 구현에서 점진적인 성능 향상을 가능하게 했다.