[논문 리뷰] FLGo: A Fully Customizable Federated Learning Platform

Zheng Wang, Xiaoliang Fan외 7명|arXiv (Cornell University)|2023. 06. 21.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

FLGo는 플러그인 기반 아키텍처를 통해 높은 공유 가능성을 제공하는 경량이며 완전히 커스터마이징 가능한 분산 학습 플랫폼으로, 기본 제공되는 플러그인으로 40개 이상의 벤치마크, 20개 이상의 알고리즘, 2개의 시스템 시뮬레이터를 제공합니다. 데이터 이질성과 시스템 이질성에 대한 커스터마이징을 지원하며, 비동기 학습과 병렬 가속, 하이퍼파ram터 자동 튜닝 등의 실험 도구를 통해 다양한 애플리케이션 간 FL 연구의 커스터마이징 복잡도를 크게 감소시킵니다.

ABSTRACT

Federated learning (FL) has found numerous applications in healthcare, finance, and IoT scenarios. Many existing FL frameworks offer a range of benchmarks to evaluate the performance of FL under realistic conditions. However, the process of customizing simulations to accommodate application-specific settings, data heterogeneity, and system heterogeneity typically remains unnecessarily complicated. This creates significant hurdles for traditional ML researchers in exploring the usage of FL, while also compromising the shareability of codes across FL frameworks. To address this issue, we propose a novel lightweight FL platform called FLGo, to facilitate cross-application FL studies with a high degree of shareability. Our platform offers 40+ benchmarks, 20+ algorithms, and 2 system simulators as out-of-the-box plugins. We also provide user-friendly APIs for quickly customizing new plugins that can be readily shared and reused for improved reproducibility. Finally, we develop a range of experimental tools, including parallel acceleration, experiment tracker and analyzer, and parameters auto-tuning. FLGo is maintained at \url{flgo-xmu.github.io}.

연구 동기 및 목표

• 응용 분야 설정, 데이터 이질성, 시스템 이질성에 맞는 분산 학습 시뮬레이션을 커스터마이징할 때 발생하는 높은 복잡도와 낮은 코드 공유 가능성 문제를 해결합니다.
• 벤치마크와 알고리즘을 제공하지만 표준화되고 재사용 가능한 커스터마이징 메커니즘이 부족한 기존 FL 프레임워크의 한계를 극복합니다.
• 연구자들이 벤치마크, 알고리즘, 시스템 시뮬레이터용 커스터마이즈된 플러그인을 쉽게 개발하고 공유하며 재사용할 수 있도록 하여 재현 가능성과 프레임워크 간 협업을 향상시킵니다.
• 병렬 실행, 실험 추적, 하이퍼파ram터 튜닝 도구를 통합한 통합 실험 환경을 제공하여 FL 평가를 간소화합니다.

제안 방법

• 기능을 분리하고 재사용성을 향상시키기 위해, 벤치마크, 알고리즘, 시스템 시뮬레이터를 독립적인 플러그인 컴포넌트로 구현합니다.
• 개발자가 로컬로 커스터마이즈한 플러그인을 배포하고 공유할 수 있도록 플러그인 라이브러리를 설계하여 코드 재사용과 커뮤니티 기반 확장을 촉진합니다.
• CIFAR-10, Shakespeare, Reddit 등의 다양한 데이터셋과 IID, Dirichlet, Louvain 등의 데이터 분포 패턴을 포함한 40개 이상의 표준화된 벤치마크를 통합합니다.
• FedAvg, FedProx, Scaffold, FedNova 등을 포함한 20개 이상의 FL 알고리즘을 지원하며, 학습 및 집계 전략을 구성 가능하게 합니다.
• 클라이언트 측 이질성(가용성, 완전성, 연결성, 반응성)을 모델링하기 위해 두 가지 시스템 시뮬레이터를 제공합니다.
• 병렬 가속, 실험 추적기 및 분석기, 자동 하이퍼파ram터 튜닝 등의 실험 도구를 포함하여 효율성과 재현 가능성을 향상시킵니다.

Figure 1: FLGo implements benchmarks, simulators, and algorithms as independent plugins, where developers can download plugins and share locally customized plugins through a plugin library.

실험 결과

연구 질문

• RQ1 다양한 응용 시나리오에서 높은 커스터마이징 능력을 유지하면서도 높은 코드 공유 가능성을 확보할 수 있는 분산 학습 플랫폼을 설계할 수 있는가?
• RQ2 플러그인 기반 아키텍처는 데이터 및 시스템 이질성을 시뮬레이션할 때 발생하는 복잡도를 얼마나 효과적으로 감소시킬 수 있는가?
• RQ3 다양한 데이터 및 시스템 이질성 구성 조건에서 다양한 FL 알고리즘이 어떻게 성능을 발휘하는가? 플랫폼은 이러한 비교 평가를 지원할 수 있는가?
• RQ4 비동기 학습 전략은 동기 방법에 비해 복잡한 현실적인 이질성 조합 하에서 훈련 시간 비용을 크게 줄일 수 있는가?
• RQ5 플랫폼의 확장성과 도구 지원은 다양한 응용 분야 간의 FL 연구에서 재현 가능성과 확장성에 어떻게 기여하는가?

주요 결과

• 모든 데이터셋과 이질성 설정에서 한 가지 FL 알고리즘이 항상 우월한 성능을 내는 것은 아니며, Cora의 Louvain 분포에서는 FedAvg가 가장 우수한 성능을 보였고, IID 데이터에서는 Scaffold가 뛰어난 성능을 발휘했습니다.
• 비-IID 데이터 분포는 IID 설정에 비해 모든 알고리즘의 성능을 일관되게 저하시키며, FashionMNIST와 Reddit 데이터셋 모두에서 성능 저하가 관찰되었습니다.
• 클라이언트 가용성 이질성은 모델 성능에 비중요하지 않은 부정적 영향을 미치며, 데이터 이질성과 가용성 이질성이 동시에 발생했을 때 성능이 가장 열 劣했습니다.
• 클라이언트 완전성 이질성은 훈련 효율을 떨어뜨리며, FedNova는 내재된 강건성을 지닌 것으로 설계되었지만, FashionMNIST에서는 짧은 모델 업데이트가 과도하게 확대되어 FedAvg와 FedProx에 비해 성능이 열 劣했습니다.
• 클라이언트 연결성 감소는 훈련 시간 비용을 증가시키며, 특히 Reddit의 비-IID 설정에서 성능 저하가 심각하게 발생했습니다.
• 비동기 학습(FedAsync)은 복잡한 이질성 조건 하에서 동기 방법에 비해 시간 비용을 줄였지만, 동일한 수의 집계 후 비-IID 시나리오에서 FedAvg와 FedProx에 비해 모델 성능이 열 劣했습니다.

Figure 2: The main workflow in FLGo.