[논문 리뷰] Motley: Benchmarking Heterogeneity and Personalization in Federated Learning

Shanshan Wu, Tian Li외 5명|arXiv (Cornell University)|2022. 06. 18.

Privacy-Preserving Technologies in Data인용 수 13

한 줄 요약

Motley는 다양한 크로스디바이스 및 크로스실 데이터셋, 다섯 가지 개인화된 FL 알고리즘의 모듈러한 구현, 여러 지표를 통한 철저한 평가를 포함하는 개인화된 페더레이티드 러닝을 위한 종합적 벤치마크를 소개한다. 주요 발견은 '최고의' 방법이 평가 기준에 크게 의존하며, 크로스디바이스 설정에서 하이퍼파ram터 튜닝이 주요 과제이며, 개인화가 성능, 공정성, 통신 효율성 간의 트레이드오프를 야기한다는 것이다.

ABSTRACT

Personalized federated learning considers learning models unique to each client in a heterogeneous network. The resulting client-specific models have been purported to improve metrics such as accuracy, fairness, and robustness in federated networks. However, despite a plethora of work in this area, it remains unclear: (1) which personalization techniques are most effective in various settings, and (2) how important personalization truly is for realistic federated applications. To better answer these questions, we propose Motley, a benchmark for personalized federated learning. Motley consists of a suite of cross-device and cross-silo federated datasets from varied problem domains, as well as thorough evaluation metrics for better understanding the possible impacts of personalization. We establish baselines on the benchmark by comparing a number of representative personalized federated learning methods. These initial results highlight strengths and weaknesses of existing approaches, and raise several open questions for the community. Motley aims to provide a reproducible means with which to advance developments in personalized and heterogeneity-aware federated learning, as well as the related areas of transfer learning, meta-learning, and multi-task learning.

연구 동기 및 목표

• 실세계의 이질성과 개인화 과제를 반영하는 표준화된 개인화된 페더레이티드 러닝 벤치마크의 부족을 해결하기 위해.
• 크로스디바이스 및 크로스실 FL을 포함한 다양한 데이터셋과 설정에서 기존의 개인화된 FL 방법의 효과성을 평가하기 위해.
• 기존 문헌에서 자주 간과되는 실용적 과제, 예를 들어 하이퍼파ram터 튜닝과 모델 일반화 문제를 부각시키기 위해.
• 개인화된 FL, 전이학습, 메타학습, 다중작업학습 분야의 연구를 촉진하기 위해 재현 가능하고 오픈소스 벤치마크를 제공하기 위해.
• 평균 정확도를 넘어서는 체계적인 평가 체계를 수립하여 공정성, 통신 효율성, 클라이언트 수준의 성능을 강조하기 위해.

제안 방법

• Motley는 공개 자료에서 유래한 7개의 실세계 페더레이티드 데이터셋—4개의 크로스디바이스 및 3개의 크로스실—을 활용하여 자연스러운 데이터 이질성을 반영하는 벤치마크 세트를 구성한다.
• 모듈러하고 재현 가능한 코드베이스를 통해 다섯 가지 대표적인 개인화된 FL 알고리즘을 구현한다: FedAvg+Fine-tuning, HypCluster, MTL, kNN-per, 그리고 로컬 학습.
• 벤치마크는 표준화된 데이터 전처리, 하이퍼파ram터 튜닝 프로토콜, 그리고 클라이언트 수준 정확도, 공정성(Gini 지수), 통신 비용, MSE 등 다양한 지표를 포함한 평가를 포함한다.
• 크로스디바이스 설정에서는 작은 로컬 데이터셋으로 인해 하이퍼파ram터를 전역적으로 튜닝하는 것이 가능하지만, 크로스실 설정에서는 클라이언트별 튜닝이 가능하여 메서드 성능의 핵심적 차이를 드러낸다.
• 평가는 평균 클라이언트 수준 정확도, 정확도-통신 비율, 클라이언트 수준 지표 차이 등을 통해 공정성과 강건성을 평가한다.
• 벤치마크는 설정 간 체계적인 비교를 지원하며, 개인화, 일반화, 구현 복잡성 간의 트레이드오프에 대한 통찰을 제공한다.

실험 결과

연구 질문

• RQ1 다양한 크로스디바이스 및 크로스실 FL 설정에서 개인화된 페더레이티드 러닝 방법 중 어떤 것이 가장 우수한 성능을 보이며, 다양한 평가 지표에서 어떻게 비교되는가?
• RQ2 평가 지표의 선택(예: 평균 정확도 대비 공정성 대비 통신 효율성)이 개인화된 FL 방법의 순위에 어떤 영향을 미치는가?
• RQ3 소규모 로컬 데이터셋이 있는 크로스디바이스 FL에서 제한된 하이퍼파ram터 튜닝—특히 이에 따른 클라이언트 성능과 모델 공정성에 어떤 영향을 미치는가?
• RQ4 클러스터링 기반 기법(HypCluster)과 간단한 앙상블 또는 피니튜닝 기법 간에 기반 클라이언트 데이터 분포를 얼마나 잘 포착하는가?
• RQ5 개인화와 일반화 사이의 실용적 트레이드오프는 무엇이며, 향후 방법은 이를 어떻게 더 잘 균형 잡을 수 있는가?

주요 결과

• FedAvg+Fine-tuning은 4개의 크로스디바이스 데이터셋 중 3개에서 평균 클라이언트 정확도가 가장 높으며, 공정성 향상에도 기여하지만, 하이퍼파라미터 튜닝에 매우 민감하다.
• 크로스디바이스 설정에서, 피니튜닝을 위한 전역 하이퍼파라미터 튜닝은 일부 클라이언트의 성능을 악화시킬 수 있어, 소규모 로컬 데이터를 가진 클라이언트들 간 균형 잡힌 개인화를 달성하는 데 근본적인 과제를 드러낸다.
• TedMulti-EnEs 데이터셋에서 HypCluster는 평균 클라이언트 정확도가 가장 높지만, 정확도-통신 비율 측면에선 FedAvg+Fine-tuning보다 열 劣하며, FedAvg와 비교해 40%의 클라이언트 성능을 떨어뜨린다.
• 크로스실 설정에서는 FedAvg+Fine-tuning과 MTL이 Vehicle 및 School 데이터셋에서 평균 클라이언트 정확도가 가장 높으며, MTL은 더 적은 하이퍼파라미터를 사용하고 잠재적으로 더 좋은 확장성을 제공한다.
• 로컬 학습은 Vehicle 데이터셋에서 다른 방법들과 거의 유사한 성능을 보이며, 더 강한 프라이버시 보장을 제공하므로 일부 설정에서는 실용적인 기준선이 될 수 있다.
• 벤치마크는 단일 방법이 항상 최적은 아니며, '최고의' 성능은 평가 지표에 따라 달라지므로, 개인화된 FL에서 체계적이고 다기준 평가 프레임워크의 필요성을 강조한다.