[논문 리뷰] Personalized Federated Learning with Clustered Generalization

Xueyang Tang, Song Guo외 1명|arXiv (Cornell University)|2021. 06. 24.

Privacy-Preserving Technologies in Data참고 문헌 50인용 수 10

한 줄 요약

이 논문은 다양한 데이터 클러스터를 포착하고 개인화된 로컬 모델을 안내하기 위해 다수의 글로벌 모델을 유지하는 클러스터링 일반화 개인화 페더레이티드 러닝(CG-PFL)을 제안한다. PFL을 이중 최적화 문제로 공식화함으로써, CG-PFL은 합성 및 실세계 데이터셋에서 최신 기술(SOTA) 방법보다 뛰어난 성능을 달성하며, 일반화와 개인화의 상호 보완적 균형을 향상시킨다.

ABSTRACT

We study the recent emerging personalized federated learning (PFL) that aims at dealing with the challenging problem of Non-I.I.D. data in the federated learning (FL) setting. The key difference between PFL and conventional FL lies in the training target, of which the personalized models in PFL usually pursue a trade-off between personalization (i.e., usually from local models) and generalization (i.e., usually from the global model) on trained models. Conventional FL methods can hardly meet this target because of their both well-developed global and local models. The prevalent PFL approaches usually maintain a global model to guide the training process of local models and transfer a proper degree of generalization to them. However, the sole global model can only provide one direction of generalization and may even transfer negative effects to some local models when rich statistical diversity exists across multiple local datasets. Based on our observation, most real or synthetic data distributions usually tend to be clustered to some degree, of which we argue different directions of generalization can facilitate the PFL. In this paper, we propose a novel concept called clustered generalization to handle the challenge of statistical heterogeneity in FL. Specifically, we maintain multiple global (generalized) models in the server to associate with the corresponding amount of local model clusters in clients, and further formulate the PFL as a bi-level optimization problem that can be solved efficiently and robustly. We also conduct detailed theoretical analysis and provide the convergence guarantee for the smooth non-convex objectives. Experimental results on both synthetic and real datasets show that our approach surpasses the state-of-the-art by a significant margin.

연구 동기 및 목표

• 클라이언트 간 비-독립 동일 분포(non-IID) 데이터 분포로 인한 통계적 이질성 문제를 해결하기 위해.
• 기존 PFL에서 단일 글로벌 모델의 한계를 극복하기 위해, 일부 클라이언트에 부정적인 일반화 효과를 전이할 수 있는 문제를 해결하기 위해.
• 다수의 클러스터 전용 글로벌 모델이 다양한 데이터 분포를 더 잘 포착하고 개인화를 향상시킬 수 있는지 탐색하기 위해.
• 다수의 글로벌 모델과 로컬 클러스터를 지원하는 강력하고 효율적인 이중 최적화 프레임워크를 개발하기 위해.
• 제안된 프레임워크 하에서 부드러운 비볼록 목표 함수에 대해 수렴 보장을 제공하기 위해.

제안 방법

• 서버에 다수의 글로벌 모델을 도입하며, 각 모델은 특정 로컬 클라이언트 모델 클러스터와 연관된다.
• 클라이언트들은 로컬 데이터 분포의 유사성에 기반해 클러스터로 그룹화된다.
• 이중 최적화 프레임워크를 공식화한다: 상위 수준은 다수의 글로벌 모델을 최적화하고, 하위 수준은 클러스터별로 로컬 모델을 적응시킨다.
• 글로벌 모델과 로컬 모델을 번갈아 갱신하는 효율적인 교대 알고리즘을 통해 최적화를 해결한다.
• 클러스터 인식 일반화 방향을 활용하여 개인화를 향상시키면서도 다양한 데이터 분포에서 강건성을 유지한다.
• 이론적 분석을 통해 제안된 이중 최적화 프레임워크 하에서 부드러운 비볼록 目표 함수에 대해 수렴 보장을 확립한다.

실험 결과

연구 질문

• RQ1 각 클러스터의 클라이언트와 연관된 다수의 글로벌 모델이 비-IID 데이터 하에서 개인화 페더레이티드 러닝에서 성능을 향상시킬 수 있는가?
• RQ2 클러스터링 일반화는 통계적 이질성을 다루는 데 있어 단일 글로벌 모델 접근법에 비해 어떻게 비교되는가?
• RQ3 비볼록 설정에서 제안된 이중 최적화 프레임워크의 수렴 행동은 어떠한가?
• RQ4 이 방법은 다양한 합성 및 실세계 데이터 분포에서 강건한 성능을 유지할 수 있는가?
• RQ5 클러스터 기반 일반화는 기존 PFL에서 관찰된 부정적 전이 효과를 줄일 수 있는가?

주요 결과

• 제안된 CG-PFL 방법은 합성 및 실세계 데이터셋에서 최신 기술(SOTA) 개인화 페더레이티드 러닝 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 클러스터 전용 글로벌 모델을 다수 사용함으로써 단일 글로벌 모델 기반 베이스라인 대비 더 나은 일반화와 개인화의 상호 보완적 균형을 달성했다.
• 높은 수준의 데이터 이질성과 클라이언트 간 통계적 다양성 조건에서도 이 방법은 강건한 성능을 보였다.
• 이론적 분석을 통해 부드러운 비볼록 목표 함수에 대해 이중 최적화 프레임워크의 수렴을 확인했다.
• 실험 결과, 클러스터 인식 일반화가 부정적 전이를 감소시키고 클라이언트별 모델 정확도를 향상시켰다.
• 기본 PFL 기반 방법 대비 최소한의 추가 계산 오버헤드로 더 뛰어난 성능을 달성했다.