[논문 리뷰] FedScale: Benchmarking Model and System Performance of Federated Learning

Fan Lai, Yinwei Dai외 2명|arXiv (Cornell University)|2021. 05. 24.

Privacy-Preserving Technologies in Data참고 문헌 23인용 수 13

한 줄 요약

FedScale는 이미지 분류, 객체 검출, 자연어 처리, 음성 인식, 강화 학습를 포함한 다양한 머신러닝 작업을 위한 대규모이고 현실적인联邦 학습(FL) 데이터셋을 포함하는 포괄적인 벤치마크 세트를 제공하며, 재현 가능하고 확장 가능한 FL 연구를 가능하게 하는 표준화된 평가 플랫폼을 함께 제공한다. 이 플랫폼은 유연한 알고리즘 구현을 지원하며, 시스템 효율성과 통계적 효율성 간의 이질성 인지 공최적화 가능성을 드러낸다.

ABSTRACT

We present FedScale, a diverse set of challenging and realistic benchmark datasets to facilitate scalable, comprehensive, and reproducible federated learning (FL) research. FedScale datasets are large-scale, encompassing a diverse range of important FL tasks, such as image classification, object detection, language modeling, speech recognition, and reinforcement learning. For each dataset, we provide a unified evaluation protocol using realistic data splits and evaluation metrics. To meet the pressing need for reproducing realistic FL at scale, we have also built an efficient evaluation platform to simplify and standardize the process of FL experimental setup and model evaluation. Our evaluation platform provides flexible APIs to implement new FL algorithms and includes new execution backends with minimal developer efforts. Finally, we perform indepth benchmark experiments on these datasets. Our experiments suggest fruitful opportunities in heterogeneity-aware co-optimizations of the system and statistical efficiency under realistic FL characteristics. FedScale is open-source with permissive licenses and actively maintained,1 and we welcome feedback and contributions from the community.

연구 동기 및 목표

• 다양한 머신러닝 작업 전반에 걸쳐 표준화되고 대규모이며 현실적인联邦 학습 벤치마크의 부족을 해결하기 위해.
• 일관된 데이터 분할과 평가 지표를 제공하여 재현 가능하고 확장 가능한 FL 연구를 가능하게 하기 위해.
• 신규 FL 알고리즘과 실행 백엔드의 간편한 통합을 지원하는 효율적이고 확장 가능한 평가 플랫폼을 통해 FL 실험 설정의 엔지니어링 오버헤드를 줄이기 위해.
• 실제 FL 환경에서의 데이터 및 시스템 이질성 하에서 시스템 효율성과 통계적 성능 간의 공최적화 가능성을 규명하고 탐색하기 위해.
• 활발한 유지보수와 유연한 오픈소스 라이선스를 통해 커뮤니티 기반 개발을 촉진하기 위해.

제안 방법

• FedScale는 이미지 분류, 객체 검출, 언어 모델링, 음성 인식, 강화 학습를 포함한 다섯 가지 핵심 FL 작업을 커버하는 다양한 대규모 데이터셋 세트를 구성한다.
• 각 데이터셋은 실제 세계의 클라이언트 데이터 분포를 반영하기 위해 현실적인 비독립 동일 분포(Non-IID) 데이터 분할을 갖도록 설계된다.
• 모든 작업과 모델 간 일관된 지표와 학습 절차를 규정하는 통합된 평가 프로토콜을 수립한다.
• 새로운 FL 알고리즘과 실행 백엔드의 간편한 통합을 지원하는 유연한 API를 갖춘 확장 가능한 평가 플랫폼을 구현한다.
• 최소한의 개발자 노력으로 여러 실행 백엔드를 지원하여 효율적이고 재현 가능한 실험을 가능하게 한다.
• 모든 데이터셋을 대상으로 벤치마크 실험을 수행하여 실제 FL 특성 하에서 시스템 및 통계적 성능을 평가한다.

실험 결과

연구 질문

• RQ1 정확도와 수렴 속도 측면에서 다양한 대규모이고 현실적인 데이터셋에서 다양한联邦 학습 알고리즘이 어떻게 성능을 내는가?
• RQ2 실제 데이터 및 시스템 이질성 하에서联邦 학습을 확장할 때 시스템 효율성과 통계적 성능의 주요 병목 현상은 무엇인가?
• RQ3 실제 설정에서 시스템 효율성과 통계적 성능 간의 공최적화가 전체 FL 성능 향상에 얼마나 기여하는가?
• RQ4 표준화되고 현실적인 데이터 분할 하에서 평가했을 때 기존의 FL 알고리즘이 다양한 유형의 FL 작업에 얼마나 잘 일반화되는가?
• RQ5 데이터 이질성이 FL에서 시스템 효율성과 통계적 효율성 간의 성능 트레이드오���에 미치는 영향은 무엇인가?

주요 결과

• FedScale는 다양한 FL 작업 간 재현 가능하고 표준화된 벤치마크를 가능하게 하여 실험 설정의 복잡성을 크게 감소시킨다.
• 벤치마크는 시스템 효율성과 통계적 효율성이 특히 현실적인 데이터 및 시스템 이질성 하에서 상호의존적임을 드러낸다.
• 이질성 인지 공최적화를 통해 시스템 및 모델 구성 요소를 개선하면 수렴 속도와 모델 정확도 향상에 명백한 기여가 있다.
• 평가 플랫폼은 새로운 FL 알고리즘을 구현하고 테스트하는 데 있어 개발자 부담을 줄여 연구 반복 속도를 가속화한다.
• FedScale의 오픈소스 성격은 커뮤니티 기여와 장기적 유지보수를 촉진하여 향후 연구에서의 활용도를 높인다.