[논문 리뷰] Flower: A Friendly Federated Learning Research Framework

Daniel J. Beutel, Taner Topal외 9명|arXiv (Cornell University)|2020. 07. 28.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 107

한 줄 요약

Flower는 대규모 코호트 실험을 실제 엣지 디바이스와 시뮬레이션에서 가능하게 하는 프레임워크-독립적 확장 가능한 FL 프레임워크이며, 이질성 지원 및 보안 집계 기능을 제공합니다.

ABSTRACT

Federated Learning (FL) has emerged as a promising technique for edge devices to collaboratively learn a shared prediction model, while keeping their training data on the device, thereby decoupling the ability to do machine learning from the need to store the data in the cloud. However, FL is difficult to implement realistically, both in terms of scale and systems heterogeneity. Although there are a number of research frameworks available to simulate FL algorithms, they do not support the study of scalable FL workloads on heterogeneous edge devices. In this paper, we present Flower -- a comprehensive FL framework that distinguishes itself from existing platforms by offering new facilities to execute large-scale FL experiments and consider richly heterogeneous FL device scenarios. Our experiments show Flower can perform FL experiments up to 15M in client size using only a pair of high-end GPUs. Researchers can then seamlessly migrate experiments to real devices to examine other parts of the design space. We believe Flower provides the community with a critical new tool for FL study and development.

연구 동기 및 목표

• Real-world 이질성과 규모를 반영하는 확장 가능한 FL 프레임워크의 필요성에 대한 동기 부여.
• 시뮬레이션과 실제 기기 배치를 연결하는 포괄적이고 확장 가능한 FL 프레임워크로서 Flower를 제시.
• Flower의 대규모 코호트(최대 수백만 명의 클라이언트) 및 이질적 환경을 지원하는 능력을 시연.
• 보안 집계 및 크로스 프레임워크/모바일 기기 통합을 포함한 실용적 기능 시연.

제안 방법

• 전략 추상화를 통해 글로벌(서버) 계산과 로컬(클라이언트) 계산을 포함하는 엔드투엔드 FL 프레임워크 아키텍처 정의.
• 이질적 클라이언트 구현을 가능하게 하는 언어- 및 ML 프레임워크-독립적 핵심 구성요소 제공.
• 대규모 실험을 위한 하드웨어 활용 극대화를 위한 Virtual Client Engine (VCE) 도입.
• Semi-honest 위협 모델에 대한 효율성 목표를 가진 SecAgg 및 SecAgg+ 보안 집계 프로토콜 구현.
• 단일/다중 노드, 확장성, 이질성 및 프레임워크-독립성 속성에서 Flower와 TFF, Syft, FedScale, LEAF 비교.
• 바이트 배열 메시지 직렬화 및 ClientProxy 추상화, gRPC 양방향 스트림으로의 통신 스택 설명.

실험 결과

연구 질문

• RQ1 수백만 명의 클라이언트를 지원하면서 이질적 디바이스를 수용하는 federated learning 프레임워크의 확장성은 어떻게 달성될 수 있는가?
• RQ2 통합 프레임워크가 FL 실험의 시뮬레이션-실제 디바이스 전환을 매끄럽게 가능하게 할 수 있는가?
• RQ3 시스템 이질성과 네트워크 조건이 FL 수렴 및 효율성에 미치는 영향은 무엇인가?
• RQ4 실제 기기 실험에서 보안 집계가 FL 실용성에 어떤 영향을 미치는가?
• RQ5 Flower가 확장성, 이질성 및 프레임워크-독립성 측면에서 기존 FL 프레임워크와 어떻게 비교되는가?

주요 결과

• Flower는 두 대의 고성능 GPU를 사용하는 소규모 컴퓨트 설치로 최대 1500만 명의 클라이언트를 대상으로 FL 실험을 확장할 수 있다.
• Flower는 시뮬레이션에서 한 라운드에 최대 1000명의 동시 클라이언트를 처리할 수 있으며, 총 100만 명의 클라이언트 중에서 동시 참여 및 확장 측면에서 여러 경쟁 프레임워크를 능가한다.
• FEMNIST/문자 분류 작업에서 활성 클라이언트 수가 증가해도 Flower는 경쟁 프레임워크와 비교해 빠르거나 동등한 성능을 유지한다.
• Jetson, Raspberry Pi, Android 등 실제 이질적 기기에 Flower를 배포하는 것이 가능하며, 학습 시간과 에너지 소모가 측정되며 프로파일링에서 매 라운드당 100 ms 미만의 오버헤드가 관찰된다.
• Virtual Client Engine (VCE)은 필요한 시점까지 클라이언트 인스턴스를 연기시켜 활용도를 크게 향상하고 메모리 사용 footprint를 줄여 일반적인 하드웨어에서 대규모 실험을 가능하게 한다.
• Flower의 보안 집계 구현은 일부 전통적인 MPC 접근법보다 이론적 부하가 낮고 드롭아웃에 대해 여전히 견고하다.