[논문 리뷰] FedLab: A Flexible Federated Learning Framework

Dun Zeng, Siqi Liang외 3명|arXiv (Cornell University)|2021. 07. 24.

Privacy-Preserving Technologies in Data참고 문헌 35인용 수 64

한 줄 요약

FedLab은 모듈성, 통신 효율성, 및 알고리즘적 유연성을 다양한 배포 시나리오에 걸쳐 강조하는 경량의 오픈 소스 연합학습 시뮬레이션 프레임워크입니다.

ABSTRACT

Federated learning (FL) is a machine learning field in which researchers try to facilitate model learning process among multiparty without violating privacy protection regulations. Considerable effort has been invested in FL optimization and communication related researches. In this work, we introduce exttt{FedLab}, a lightweight open-source framework for FL simulation. The design of exttt{FedLab} focuses on FL algorithm effectiveness and communication efficiency. Also, exttt{FedLab} is scalable in different deployment scenario. We hope exttt{FedLab} could provide flexible API as well as reliable baseline implementations, and relieve the burden of implementing novel approaches for researchers in FL community.

연구 동기 및 목표

• 실험 및 연구를 위한 유연하고 경량의 FL 프레임워크로서 FedLab을 소개한다.
• FL 알고리즘과 커뮤니케이션 전략을 탐구할 수 있는 매우 커스터마이즈 가능한 인터페이스를 제공한다.
• 연구에서 중복되는 노력을 줄이기 위해 데이터 분할 도구와 표준 FL 파이프라인을 제공한다.

제안 방법

• 모듈식 구성요소(NetworkManager 및 Trainer/ParameterServerHandler)와 함께 두 가지 주요 역할(Server와 Client)을 정의한다.
• 동기식 및 비동기 패턴을 갖춘 torch.distributed를 사용하여 유연한 통신 백엔드를 구현한다.
• 비 IID 설정을 시뮬레이션하기 위한 데이터 파티션 유틸리티 및 NIID/베이스라인 데이터 세트를 제공한다.
• 실험 확장을 위해 다중 배포 시나리오(Standalone, Cross-process, Hierarchical)를 지원한다.
• 빠른 프로토타이핑을 위한 표준 FL 구현(예: FedAvg, FedAsgd) 및 예제 코드 스니펫을 제공한다.
• CI 및 문서화를 포함한 오픈 소스 워크플로우를 유지하여 커뮤니티 협업을 촉진한다.

실험 결과

연구 질문

• RQ1 커뮤니케이션을 최적화 구성 요소와 분리함으로써 융통성 있는 프레임워크가 FL 연구를 어떻게 가속화할 수 있는가?
• RQ2 이질적이고 비 IID FL 데이터에 대한 실험을 가장 잘 지원하는 배포 시나리오와 데이터 분할 전략은 무엇인가?
• RQ3 표준 FL 벤치마크 및 모듈형 API가 연구자들이 새로운 FL 알고리즘을 구현하는 부담을 줄일 수 있는가?

주요 결과

• FedLab은 NetworkManager와 Trainer/ParameterServerHandler를 갖춘 모듈식 아키텍처를 제공하여 통신과 최적화를 분리합니다.
• 이 프레임워크는 다수의 클라이언트에 대해 동기식 및 비동기 통신 패턴과 확장 가능한 스케줄링을 지원합니다.
• FedLab은 클라이언트 간 다양한 데이터 분포를 시뮬레이션하기 위한 데이터 파티션 유틸리티와 NIID 벤치마크를 포함합니다.
• 세 가지 배포 시나리오(Standalone, Cross-process, Hierarchical)가 리소스 및 네트워크 구성에 걸친 유연한 실험을 가능하게 합니다.
• FedLab은 표준 FL 벤치마크(예: FedAvg, FedAsgd) 및 빠른 프로토타이핑을 촉진하는 예제 코드를 제공합니다.