[논문 리뷰] FLUTE: A Scalable, Extensible Framework for High-Performance Federated Learning Simulations

Mirian Hipolito Garcia, Andre Manoel외 4명|arXiv (Cornell University)|2022. 03. 25.

Privacy-Preserving Technologies in Data인용 수 22

한 줄 요약

FLUTE 는 고성능 대규모 연합학습 시뮬레이션을 위한 오픈 소스 플랫폼으로, 유연한 API, 비동기 서버-클라이언트 아키텍처, 및 다른 플랫폼에 비해 주목할 만한 속도/메모리 이점을 제공합니다.

ABSTRACT

In this paper we introduce "Federated Learning Utilities and Tools for Experimentation" (FLUTE), a high-performance open-source platform for federated learning research and offline simulations. The goal of FLUTE is to enable rapid prototyping and simulation of new federated learning algorithms at scale, including novel optimization, privacy, and communications strategies. We describe the architecture of FLUTE, enabling arbitrary federated modeling schemes to be realized. We compare the platform with other state-of-the-art platforms and describe available features of FLUTE for experimentation in core areas of active research, such as optimization, privacy, and scalability. A comparison with other established platforms shows speed-ups of up to 42x and savings in memory footprint of 3x. A sample of the platform capabilities is also presented for a range of tasks, as well as other functionality, such as linear scaling for the number of participating clients, and a variety of federated optimizers, including FedAdam, DGA, etcetera.

연구 동기 및 목표

• 확장 가능한 FL 알고리즘의 빠른 프로토타이핑과 오프라인 시뮬레이션을 가능하게 한다.
• FL에서 최적화, 프라이버시, 통신 전략을 테스트하기 위한 유연하고 확장 가능한 프레임워크를 제공한다.
• 재사용 가능한 API를 통해 수백만 명의 클라이언트를 포함하는 엔드 투 엔드의 고성능 대규모 시뮬레이션을 가능하게 한다.
• 성능 향상을 검증하기 위한 기존 FL 시뮬레이션 플랫폼과의 벤치마크 및 비교를 제공한다.

제안 방법

• 중앙 서버가 다수의 비동기 워커를 조정하는 서버-클라이언트 아키텍처를 채택한다.
• 통신 백본으로 torch.distributed를 사용하는 PyTorch를 사용하고 메시지 기반의 서버–워커 프로토콜을 채택한다.
• 서버-클라이언트 트래픽을 최소화하기 위해 워커에 학습 데이터를 미리 로드하고 인덱스, 매개변수, 혹은 그래디언트만 통신한다.
• FedAvg, FedAdam, FedYogi, DGA 등 다양한 연합 최적화 알고리즘을 구현하고 차등 프라이버시와 대역폭 인식 그래디언트 압축을 포함한다.
• 전역 모델과 로컬 모델 간의 볼록 보간을 통한 개인화 지원과 트랜스포머 기반 모델용 어댑터를 가능하게 한다.
• 실험 추적 및 확장을 위한 AzureML과의 통합을 제공하고, 스탠드얼론 GPU/CPU 배포를 지원한다.

실험 결과

연구 질문

• RQ1 합리적인 처리 시간으로 연합 학습 시뮬레이션을 수백만 명의 클라이언트로 확장하려면 어떻게 해야 하는가?
• RQ2 속도, 메모리 사용, 유연성 간의 최적 균형을 제공하는 서버–클라이언트, 비동기 처리 등의 어떤 아키텍처 선택이 FL 실험에 가장 좋은 트레이드오프를 가져오는가?
• RQ3 최첨단 FL 최적화, 프라이버시, 대역폭 기술이 대규모 오프라인 시뮬레이션에서 얼마나 잘 작동하는가?
• RQ4 FLUTE가 기존 FL 시뮬레이션 플랫폼과 비교하여 속도, 메모리 풋프린트, 확장성 측면에서 어떻게 비교되는가?
• RQ5 비 IID 데이터에서 개인화 및 어댑터 기반 연합 학습이 통신 및 성능에 미치는 영향은 무엇인가?

주요 결과

• FLUTE는 두 개의 선도적인 FL 시뮬레이션 플랫폼(FedML 및 Flower)과 비교하여 최대 42배의 속도 향상과 약 3배의 메모리 절감을 달성한다.
• 아키텍처는 클라이언트를 즉시 시점에 자연스럽게 인스턴스화하고 비동기 처리를 가능하게 하며, 워커 수와 클라이언트 수를 분리해 수백만 명의 클라이언트 확장을 가능하게 한다.
• GPU에서 Flower와 비교하면 FLUTE가 최대 54배 빠르다; CPU에서는 Gloo 백엔드를 사용하는 FLUTE가 Flower보다 9배 빠르다.
• 양자화 및 희소화 실험은 특정 설정에서 정확도 손실을 최소화하면서 대역폭 이익을 최대 16배까지 보여준다.
• 전체 트랜스포머 모델 대신 어댑터를 연합하는 것은 데이터 분포(iid vs non-iid)에 따라 감정 분석 태스크에서 약 121x의 대역폭 절감으로 유사하거나 더 나은 정확도를 제공할 수 있다.
• 플랫폼은 광범위한 FL 최적화 알고리즘(FedAvg, FedAdam, DGA, SCAFFOLD, FedProx 등) 및 프라이버시/대역폭 향상 기술을 지원하며, 새로운 모델과 데이터 형식에 대해 유연한 API를 제공한다.