[논문 리뷰] FedSoft: Soft Clustered Federated Learning with Proximal Local Updating

Yichen Ruan, Carlee Joe‐Wong|arXiv (Cornell University)|2021. 12. 11.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

FedSoft는 혼합 데이터 분포 기반으로 여러 클러스터 모델에 기여할 수 있도록 허용하는 소프트 클러스터링 기반 피어드 페더레이티드 러닝 프레임워크를 제안한다. 근접(local) 업데이트를 사용하여 클라이언트의 작업 부담을 제한하며, 이론적 수렴 보장을 제공하고 다양한 혼합 데이터 패턴에서 뛰어난 성능을 달성한다.

ABSTRACT

Traditionally, clustered federated learning groups clients with the same data distribution into a cluster, so that every client is uniquely associated with one data distribution and helps train a model for this distribution. We relax this hard association assumption to soft clustered federated learning, which allows every local dataset to follow a mixture of multiple source distributions. We propose FedSoft, which trains both locally personalized models and high-quality cluster models in this setting. FedSoft limits client workload by using proximal updates to require the completion of only one optimization task from a subset of clients in every communication round. We show, analytically and empirically, that FedSoft effectively exploits similarities between the source distributions to learn personalized and cluster models that perform well.

연구 동기 및 목표

• 기존 하드 클러스터링 기반 페더레이티드 러닝의 한계를 해결하기 위해, 각 클라이언트가 혼합 데이터 분포에 기반해 여러 클러스터 모델에 기여할 수 있도록 하는 것.
• 소프트 클러스터링 기반 페더레이티드 러닝에서 클라이언트의 계산 부담을 줄이기 위해 근접 로컬 업데이트를 사용하여, 각 통신 라운드당 최소한의 클라이언트만 최적화 작업을 수행하도록 보장하는 것.
• 개인화된 모델과 클러스터 모델을 공동으로 훈련시켜 클러스터 분포 간의 구조적 유사성을 활용함으로써 모델 성능을 향상시키는 것.
• 비독립 동일분포(non-IID) 및 혼합 데이터 설정 하에서 개인화 및 클러스터 모델에 대한 이론적 수렴 보장을 제공하는 것.

제안 방법

• 기존 페더레이티드 러닝의 하드 할당 가정을 완화하기 위해, 각 클라이언트의 데이터가 다수의 소스 분포의 혼합을 따르는 소프트 클러스터링 기반 페더레이티드 러닝을 도입한다.
• 클라이언트 최적화를 글로벌 모델 집계에서 분리하기 위해 근접 로컬 업데이트를 활용하며, 각 클라이언트가 통신 라운드당 오직 하나의 로컬 최적화 작업만 수행하도록 제한한다.
• 개인화된 로컬 모델(클라이언트별)과 공유되는 클러스터 모델(분포별)의 두 가지 유형의 모델을 유지하며, 통합 최적화 프레임워크를 사용해 공동으로 훈련한다.
• 중요도 가중치를 사용하여 각 클라이언트가 각 클러스터 모델에 기여하는 정도를 추정함으로써, 클라이언트와 기저 분포 간의 정확한 연관성을 확보한다.
• 유사한 조건 하에서 글로벌 수렴을 보장하는 수렴 분석 프레임워크를 적용하며, 약한 가정 하에 클러스터 모델과 개인화 모델 양쪽에 대해 수렴 보장을 확립한다.
• 클러스터 모델 간의 유사한 분포 간 지식 전이를 활용하여 공동 훈련을 통해 일반화 성능 향상과 훈련 손실 감소를 달성한다.

실험 결과

연구 질문

• RQ1 혼합 데이터 분포 기반 소프트 클러스터링 페더레이티드 러닝이 기존 하드 클러스터링 기반 페더레이티드 러닝보다 정확도와 작업 효율성 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 높은 품질의 클러스터 모델과 개인화 모델을 유지하면서도 소프트 클러스터링 기반 페더레이티드 러닝에서 클라이언트의 작업 부담을 어떻게 최소화할 수 있는가?
• RQ3 데이터 분포 간의 구조적 유사성을 얼마나 잘 활용할 수 있을지, 이를 통해 페더레이티드 러닝에서 모델 수렴과 성능 향상에 기여할 수 있는가?
• RQ4 FedSoft에서 근접 업데이트를 사용할 경우, 비독립 동일분포 및 혼합 데이터 조건 하에서 클러스터 모델과 개인화 모델 양쪽에 대해 안정적인 수렴을 보장할 수 있는가?

주요 결과

• FedSoft는 합성 데이터 및 실세계 데이터(EMNIST 문자) 모두에서 최신 기준 성능을 달성하였으며, 클러스터 모델의 테스트 MSE는 34.5, 최고 중심 기준 정확도는 72.3%를 기록하여 기준 모델들을 압도적으로 능가한다.
• 10:90 혼합 패턴에서 FedSoft는 평균 로컬 모델 정확도 90.9%와 클러스터 모델 정확도 74.6%를 달성하였으며, IFCA(65.2%) 및 FedEM(63.6%)에 비해 뚜렷한 성능 우월성을 보였다.
• 그림 2의 중요도 가중치 추정 결과에 따르면, FedSoft는 각 클라이언트에 대해 올바른 클러스터에 높은 가중치를 할당하여 클러스터 중심이 기저 분포와 정확히 연관됨을 입증하였다.
• 합성 데이터의 8개 분포 혼합 패턴에서 FedSoft는 가장 낮은 테스트 MSE(예: θ0 기준 c5의 경우 57.6)를 기록하여 복잡한 혼합 패턴에 대한 뛰어난 강건성을 입증하였다.
• 30:70 혼합 패턴에서 성능이 가장 열 劣한 것은 로컬 솔버의 정확도가 떨어지기 때문이며, 이는 균형 잡힌 데이터 분포가 훈련 안정성에 미치는 영향을 보여준다.
• FedSoft는 모든 혼합 패턴에서 뛰어난 성능를 유지하였으며, 예를 들어 기울인 MNIST 데이터(0°: 71.5%, 90°: 71.7%)에서도 클러스터 모델 정확도 71.5% 이상을 기록하여 분포 이동에 대한 일반화 능력을 입증하였다.