[논문 리뷰] Multi-Center Federated Learning: Clients Clustering for Better Personalization

Guodong Long, Ming Xie외 5명|arXiv (Cornell University)|2020. 05. 03.

Privacy-Preserving Technologies in Data참고 문헌 51인용 수 32

한 줄 요약

다센터 연합 학습 프레임워크 (FeSEM)을 제안하여 클라이언트를 클러스터링하고 다중 글로벌 모델을 학습하여 non-IID 데이터 처리에 더 잘 대응하며, Federated Stochastic Expectation Maximization 최적화를 사용합니다.

ABSTRACT

Federated learning has received great attention for its capability to train a large-scale model in a decentralized manner without needing to access user data directly. It helps protect the users' private data from centralized collecting. Unlike distributed machine learning, federated learning aims to tackle non-IID data from heterogeneous sources in various real-world applications, such as those on smartphones. Existing federated learning approaches usually adopt a single global model to capture the shared knowledge of all users by aggregating their gradients, regardless of the discrepancy between their data distributions. However, due to the diverse nature of user behaviors, assigning users' gradients to different global models (i.e., centers) can better capture the heterogeneity of data distributions across users. Our paper proposes a novel multi-center aggregation mechanism for federated learning, which learns multiple global models from the non-IID user data and simultaneously derives the optimal matching between users and centers. We formulate the problem as a joint optimization that can be efficiently solved by a stochastic expectation maximization (EM) algorithm. Our experimental results on benchmark datasets show that our method outperforms several popular federated learning methods.

연구 동기 및 목표

• 페더레이션 학습에서 각 클라이언트 간의 데이터 이질성을 다루어 개인화를 촉진하고자 한다.
• 클라이언트 클러스터에 대응하는 다중 글로벌 모델을 학습하기 위한 다센터 집계 메커니즘을 제안한다.
• cluster 할당, cluster 모델, 로컬 업데이트를 공동으로 최적화하기 위해 Expectation-Maximization에서 영감을 받은 최적화 알고리즘 (FeSEM)을 개발한다.
• 표준 페더레이드 벤치마크에서 기초 FL 방법들보다 경험적 성능 향상을 보여준다.

제안 방법

• 다센터 FL 목표를 도입하여 감독 손실을 최소화하고 K 중심으로 로컬 모델을 클러스터링하는 거리 기반 정규화를 포함한다.
• Eq. 5와 6에 따라 로컬 모델, 클러스터 할당, 클러스터 중심 모델 간의 결합 최적화 문제로 문제를 구성한다.
• Federated Stochastic EM (FeSEM)을 통해 풀이한다: E-step은 클러스터 할당을 업데이트하고, M-step은 클러스터 중심을 업데이트하며, 로컬 업데이트는 근사적 규제(Proximal-style regularization)를 사용해 수행한다 (Eq. 7–9).
• 로컬 업데이트는 해당 클러스터 중심에서 시작하고, 클러스터 중심과의 정렬을 유지하기 위한 거리 기반 정규화를 사용하여 소수의 학습 스텝으로 수행된다.
• 집계 중 이질적 모델을 더 잘 정렬하기 위해 뉴런 매칭(레이어별 또는 함수 기반)을 도입해 선택적으로 확장한다.
• K 선택에 대한 실제 고려사항과 견고성 및 확장성을 개선하기 위한 잠재적 확장에 대해 논의한다.

실험 결과

연구 질문

• RQ1 클러스터링을 통해 여러 중심으로 클라이언트를 나누는 것이 FL에서 단일 글로벌 모델보다 비 IID 데이터 분포를 더 잘 포착할 수 있는가?
• RQ2 FeSEM이 적절한 클러스터에 클라이언트를 효과적으로 할당하고 벤치마크 데이터셋에서 표준 FL 기준선보다 성능을 개선하는가?
• RQ3 센터의 수 K가 성능에 어떤 영향을 미치며 이를 안내하는 휴리스틱은 무엇인가?
• RQ4 뉴런 매칭과 같은 확장들이 데이터 이질성 하에서 성능을 더 향상시킬 수 있는가?
• RQ5 다센터 FL 설정에서 계산/통신 효율성과 개인화 간의 트레이드오프는 어떻게 되는가?

주요 결과

• FeSEM은 FEMNIST와 FedCelebA 벤치마크의 다수 구성을 통해 여러 기준선보다 정확도 지표를 일관되게 개선한다.
• 클러스터 수 K를 증가시키면 일반적으로 성능이 더 좋아지는 경향이 있어 비 IID 데이터 가정을 입증한다.
• 클러스터 기반 평균화(FeSEM(K))를 사용하는 FeSEM은 FedAvg 및 FedProx와 같은 단일 센터 FL 방법보다 마이크로 및 매크로 지표에서 자주 우수한 성능을 보인다.
• 매크로 지표에서 눈에 띄는 이득이 나타나고, 상대적으로 대표성이 낮거나 다양한 클라이언트 분포에 대한 성능이 향상된다.
• FeSEM-MA 매핑 평균화 변형(매칭된 평균화)은 보고된 실험에서 FeSEM에 비해 동등하거나 다소 더 낮은 성능을 보이는 경향이 있어 초기화 및 평균화 전략이 결과에 영향을 준다.