[논문 리뷰] FedML: A Research Library and Benchmark for Federated Machine Learning

Chaoyang He, Songze Li외 18명|arXiv (Cornell University)|2020. 07. 27.

Privacy-Preserving Technologies in Data참고 문헌 151인용 수 357

한 줄 요약

FedML은 다양한 컴퓨팅 패러다임, 유연한 토폴로지, 표준화된 베이스라인, 실제 하드웨어 테스트베드를 지원하여 FL 연구에서 공정한 비교와 빠른 반복을 가능하게 하는 연합학습의 오픈 리서치 라이브러리와 벤치마크를 제공합니다.

ABSTRACT

Federated learning (FL) is a rapidly growing research field in machine learning. However, existing FL libraries cannot adequately support diverse algorithmic development; inconsistent dataset and model usage make fair algorithm comparison challenging. In this work, we introduce FedML, an open research library and benchmark to facilitate FL algorithm development and fair performance comparison. FedML supports three computing paradigms: on-device training for edge devices, distributed computing, and single-machine simulation. FedML also promotes diverse algorithmic research with flexible and generic API design and comprehensive reference baseline implementations (optimizer, models, and datasets). We hope FedML could provide an efficient and reproducible means for developing and evaluating FL algorithms that would benefit the FL research community. We maintain the source code, documents, and user community at https://fedml.ai.

연구 동기 및 목표

• 다양한 토폴로지, 데이터 분포 및 학습 절차에 대한 유연하고 다중 패러다임 FL 라이브러리의 부족을 해소한다.
• 공정한 성능 비교를 가능하게 하는 표준화된 알고리즘 구현과 벤치마크를 제공한다.
• 온-디바이스, 분산 및 단일 머신 FL 시뮬레이션을 지원하여 실용적 연구 필요를 충족한다.
• 시스템 수준의 FL 성능을 평가하기 위해 실제 하드웨어 테스트(모바일 및 IoT)를 촉진한다.
• 광범위한 FL 연구 분야를 위한 커뮤니티 기여와 데이터셋을 환영하는 개방적이고 발전하는 플랫폼을 구축한다.

제안 방법

• FedML을 다양한 컴퓨팅 패러다임에 걸친 FL 알고리즘 개발과 공정한 평가를 위한 엔드-투-엔드 툴킷으로 도입한다.
• 주요 구성 요소 두 가지로 아키텍처를 설명한다: FedML-core(저수준)와 FedML-API(고수준).
• 다양한 네트워크 토폴로지를 위한 TopologyManager와 유연한 메시지 흐름을 위한 워커 지향 프로그래밍 인터페이스를 설명한다.
• 실제 하드웨어 위에 구축된 on-device FL 테스트베드(FedML-Mobile 및 FedML-IoT)를 상세히 다룬다.
• 정의된 데이터셋, 모델 및 비 IID 파티션과 함께 표준화된 베이스라인과 벤치마크를 제시하여 공정한 비교를 가능하게 한다.
• 암호 원소와 강건한 집계 방법을 포함한 프라이버시, 보안 및 강건성 API 지원을 개요화한다.

실험 결과

연구 질문

• RQ1 다양한 컴퓨팅 패러다임과 토폴로지를 지원하는 유연한 라이브러리를 통해 FL 연구를 어떻게 가속화할 수 있는가?
• RQ2 표준화된 알고리즘 구현과 벤치마크가 비 IID 분포와 서로 다른 데이터셋 간의 공정한 성능 비교를 가능하게 할 수 있는가?
• RQ3 하드웨어-현실적인 온-디바이스 FL 테스트베드가 학습 효율성 및 확장성에 미치는 영향은 무엇인가?
• RQ4 모듈식이고 확장 가능한 프레임워크에서 FedML이 프라이버시, 보안 및 강건성을 어떻게 수용할 수 있는가?

주요 결과

• FedML은 온-디바이스 학습, 분산 컴퓨팅 및 단일 머신 시뮬레이션의 세 가지 패러다임에 대한 엔드-투-엔드 지원을 제공한다.
• FedML은 그래디언트와 모델을 넘어 유연한 메시지 흐름과 토폴로지 커스터마이즈를 가능하게 하는 워커 지향 프로그래밍 모델을 도입한다.
• 표준화된 베이스라인(예: FedAvg, Decentralized FL, Vertical FL, Split Learning, FedNAS)이 포함되어 공정한 비교와 재현성을 촉진한다.
• 벤치마크 데이터셋과 파티션 방법이 명확히 정의되어 선형, 얕은 및 심층 신경망 간에 일관되고 공정한 평가를 보장한다.
• 실험은 비 IID 설정이 IID에 비해 정확도를 감소시키고, 분산 컴퓨팅이 대형 CNN에서 독립 실행형 시뮬레이션에 비해 상당한 학습 시간 이점을 제공함을 보여준다.