[논문 리뷰] On the Convergence of Clustered Federated Learning

Jie Ma, Guodong Long외 3명|arXiv (Cornell University)|2022. 02. 13.

Privacy-Preserving Technologies in Data인용 수 25

한 줄 요약

클러스터링된 연합 학습을 재고하고, 이중 레벨 최적화 프레임워크를 수립하며, WeCFL을 도입하고, 클러스터 가능 비-IID 데이터 하에서 수렴 보장을 제공합니다.

ABSTRACT

Knowledge sharing and model personalization are essential components to tackle the non-IID challenge in federated learning (FL). Most existing FL methods focus on two extremes: 1) to learn a shared model to serve all clients with non-IID data, and 2) to learn personalized models for each client, namely personalized FL. There is a trade-off solution, namely clustered FL or cluster-wise personalized FL, which aims to cluster similar clients into one cluster, and then learn a shared model for all clients within a cluster. This paper is to revisit the research of clustered FL by formulating them into a bi-level optimization framework that could unify existing methods. We propose a new theoretical analysis framework to prove the convergence by considering the clusterability among clients. In addition, we embody this framework in an algorithm, named Weighted Clustered Federated Learning (WeCFL). Empirical analysis verifies the theoretical results and demonstrates the effectiveness of the proposed WeCFL under the proposed cluster-wise non-IID settings.

연구 동기 및 목표

• FL에서 개인화와 일반화의 균형을 맞추기 위한 클러스터별 비-IID 모델링을 동기화한다.
• 기존의 클러스터링 FL 방법을 이중 레벨 최적화 프레임워크로 통합한다.
• 새로운 가중 클러스터링 연합 학습(WeCFL) 알고리즘을 제안한다.
• 클러스터 가능성 측정치와 가중 클러스터링을 포함하는 이론적 수렴 프레임워크를 개발한다.

제안 방법

• 각 클라이언트를 모델 매개변수로 표현하고 매개변수 공간의 유클리드 거리를 사용해 유사성을 측정한다.
• 상위 레벨 FL 목표와 하위 레벨 클러스터링 목표를 갖는 이중 레벨 최적화 문제로 클러스터링 FL을 형식화한다.
• EM 기반 클러스터링 단계와 클러스터별 FedAvg와 유사한 집계를 번갈아 실행하는 WeCFL 알고리즘을 개발한다.
• FL 손실에 맞추기 위해 클라이언트 중시 가중치를 클러스터링 및 집계에 통합한다.
• 적절한 학습률에서 WeCFL가 수렴하는 조건을 제시하고 1/T 수렴 속도를 달성하는 수렴 분석을 제공한다.

실험 결과

연구 질문

• RQ1 FL 클라이언트 간의 클러스터 가능성을 원칙적으로 정의하고 측정하려면 어떻게 해야 하는가?
• RQ2 클러스터링 FL이 비동일 분포 데이터와 클러스터 하에서 수렴하고 보장될 수 있는가?
• RQ3 가중 클러스터링 접근법이 기존의 클러스터링 FL 방법에 비해 성능과 수렴을 개선하는가?
• RQ4 클러스터 수 K와 데이터 이질성이 수렴 및 성능에 미치는 영향은 무엇인가?

주요 결과

• WeCFL은 Fashion-MNIST 및 CIFAR-10에서 클러스터별 비-IID 설정에서 기본 FL 및 여러 클러스터링 FL 방법보다 더 우수한 성능을 보인다.
• CIFAR-10에서 (3,2)-클래스 비-IID 설정 하에 보고된 실험에서 WeCFL가 IFCA 및 FeSEM보다 더 빠르게 수렴한다.
• 클러스터링 결과는 높은 군집 간 이질성과 낮은 군집 내 유사도를 나타내며 효과적인 클러스터링을 시사한다.
• 이론적 분석은 WeCFL가 수렴하는 조건을 제시하고 적절한 학습률에서 1/T 수렴 속도를 보인다.