[논문 리뷰] An Empirical Study of Personalized Federated Learning

Koji Matsuda, Yuya Sasaki외 2명|arXiv (Cornell University)|2022. 06. 27.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 다양한 데이터셋과 설정에서 개인화된 플러그형 학습(PFL) 방법에 대한 종합적인 실험 기준을 제시한다. 17개의 방법을 평가한 결과, 어떤 PFL 접근 방식도 항상 우월한 성능을 보이지 않으며, 특히 높은 데이터 이질성에서 표준 FedAvg에 피니팅을 적용한 경우가 전용 PFL 방법보다 높은 성능을 보일 수 있다. 이는 놀라운 결과이지만, 데이터 이질성이 높을수록 성능 향상이 이루어지기 때문이다. 저자들은 재현 가능한 PFL 실험을 위한 Jupyter 기반 도구인 FedBench를 공개한다.

ABSTRACT

Federated learning is a distributed machine learning approach in which a single server and multiple clients collaboratively build machine learning models without sharing datasets on clients. A challenging issue of federated learning is data heterogeneity (i.e., data distributions may differ across clients). To cope with this issue, numerous federated learning methods aim at personalized federated learning and build optimized models for clients. Whereas existing studies empirically evaluated their own methods, the experimental settings (e.g., comparison methods, datasets, and client setting) in these studies differ from each other, and it is unclear which personalized federate learning method achieves the best performance and how much progress can be made by using these methods instead of standard (i.e., non-personalized) federated learning. In this paper, we benchmark the performance of existing personalized federated learning through comprehensive experiments to evaluate the characteristics of each method. Our experimental study shows that (1) there are no champion methods, (2) large data heterogeneity often leads to high accurate predictions, and (3) standard federated learning methods (e.g. FedAvg) with fine-tuning often outperform personalized federated learning methods. We open our benchmark tool FedBench for researchers to conduct experimental studies with various experimental settings.

연구 동기 및 목표

• 다양한 실험 설정에서 개인화된 플러그형 학습(PFL) 방법에 대한 표준화되고 종합적인 평가가 부족한 문제를 해결하기 위해.
• 실제 데이터 이질성이 존재하는 환경에서 PFL 방법이 비개인화된 플러그형 학습(예: FedAvg)보다 일관되게 뛰어난 성능을 내는지 조사하기 위해.
• 데이터 이질성, 클라이언트 수, 데이터 볼륨이 PFL에서 모델 성능에 미치는 영향을 규명하기 위해.
• 재현 가능한 PFL 실험을 위한 공개된 Jupyter 노트북 기반 기준화 도구인 FedBench를 개발하고 공개하기 위해.
• 통신, 정확도, 학습 시간 간의 성능 상호보완성 분석을 통해 향후 PFL 방법 개발에 실질적인 통찰을 제공하기 위해.

제안 방법

• 본 연구는 FedAvg, FedProx, FedMe, Ditto, pFedMe, HypCluster, FML, LG-FedAvg, FedPer, FedRep 및 그 피니팅 버전을 포함한 17개의 PFL 방법에 대한 대규모 실험 기준 평가를 수행한다.
• 실험은 MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet 5개의 벤치마크 데이터셋을 대상으로 실시되며, 레이블 분포 기울기를 통한 통제된 데이터 이질성 설정을 적용한다.
• 평가에서는 핵심 하이퍼파rameter를 다양화한다: 클라이언트 수(2–10), 총 데이터 샘플 수(10K–100K), 데이터 이질성 정도(IID에서 극단적 기울기까지).
• 성능는 정확도, 통신 라운드 수, 학습 시간 기준으로 측정되며, 결과는 다수의 랜덤 시드 기반 평균화된다.
• 재현 가능하고 확장 가능한 실험을 가능하게 하기 위해, MIT 라이선스 하에 Jupyter 노트북 기반 기준화 도구인 FedBench를 구현하고 공개한다.
• 모델 집합 후 피니팅을 적용하여 개인화된 추론 성능 향상을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 설정에서 어떤 개인화된 플러그형 학습 방법이 가장 높은 성능을 내는가?
• RQ2 개인화된 플러그형 학습 방법이 항상 표준 플러그형 학습(피니팅 포함)보다 뛰어나게 성능을 내는가?
• RQ3 데이터 이질성의 정도가 개인화된 플러그형 학습 모델의 성능에 어떤 영향을 미치는가?
• RQ4 PFL 방법에서 정확도, 통신 효율성, 학습 시간 간의 상호보완성은 어떠한가?
• RQ5 클라이언트 수와 총 데이터 볼륨은 PFL 접근 방식의 효과성에 어떤 영향을 미치는가?

주요 결과

• 모든 데이터셋과 설정에서 다른 방법들보다 항상 뛰어난 성능을 내는 단일한 PFL 방법은 존재하지 않으며, 이는 '최고의 방법'이 존재하지 않음을 시사한다.
• 표준 플러그형 학습에 피니팅을 적용한 방법(FedAvg+FT)은 특히 MNIST와 같은 비교적 쉬운 데이터셋에서 전용 PFL 방법보다 높은 정확도를 달성하는 경우가 많다.
• 높은 수준의 데이터 이질성(예: 극단적 레이블 기울기)은 개인화된 플러그형 학습에서 정확도 향상과 관련이 있으며, 일반적인 가정과는 반대로 작용한다.
• FedProx+FT는 CIFAR-100에서 1.8회의 통신 라운드로 99.54%의 테스트 정확도를 달성하여, 이 설정에서 대부분의 PFL 전용 방법보다 뛰어난 성능을 보였다.
• FedMe나 HypCluster와 같은 방법들은 높은 정확도(예: CIFAR-10에서 98.92%)를 달성하지만, 상당히 많은 통신 및 학습 시간(예: 8.0–14.0라운드)을 소요한다.
• 피니팅를 적용한 중심화된 베이스라인은 Tiny ImageNet에서 95.59%의 정확도를 기록하여, 피니팅된 글로벌 모델이 강력한 개인화 기준이 될 수 있음을 보여준다.