[논문 리뷰] Papaya: Practical, Private, and Scalable Federated Learning

Dzmitry Huba, John Nguyen외 12명|arXiv (Cornell University)|2021. 11. 08.

Privacy-Preserving Technologies in Data참고 문헌 30인용 수 29

한 줄 요약

Papaya는 AsyncFL을 통해 비동기식 안전 집계를 가능하게 하는 생산 등급의 연합학습 시스템을 제시하며, 대규모에서 동기식 FL보다 속도와 통신 효율성 면에서 우수합니다. 동시성에 따른 거의 선형적인 서버 업데이트 주기와 SyncFL의 과선택에 의한 편향 감소를 보여줍니다.

ABSTRACT

Cross-device Federated Learning (FL) is a distributed learning paradigm with several challenges that differentiate it from traditional distributed learning, variability in the system characteristics on each device, and millions of clients coordinating with a central server being primary ones. Most FL systems described in the literature are synchronous - they perform a synchronized aggregation of model updates from individual clients. Scaling synchronous FL is challenging since increasing the number of clients training in parallel leads to diminishing returns in training speed, analogous to large-batch training. Moreover, stragglers hinder synchronous FL training. In this work, we outline a production asynchronous FL system design. Our work tackles the aforementioned issues, sketches of some of the system design challenges and their solutions, and touches upon principles that emerged from building a production FL system for millions of clients. Empirically, we demonstrate that asynchronous FL converges faster than synchronous FL when training across nearly one hundred million devices. In particular, in high concurrency settings, asynchronous FL is 5x faster and has nearly 8x less communication overhead than synchronous FL.

연구 동기 및 목표

• 이질성과 느림요인(stragglers)을 처리하는 대규모 크로스-디바이스 FL의 필요성을 동기화한다.
• 제로 웨이트 클라이언트 업데이트를 위한 버퍼링된 보안 집계와 함께 비동기식 FL 설계(AsyncFL)를 제안한다.
• 수백만 대의 기기를 대상으로 수렴성, 처리량, 공정성을 측정하는 생산 규모 평가를 시연한다.
• 클라이언트 독립성, 높은 이용률, 빠른 모델 집계와 같은 설계 도전 과제를 다룬다.

제안 방법

• 비대회/라운드가 없는 업데이트 목표 지향의 AsyncFL 알고리즘(FedBuff)을 설명한다.
• 업데이트를 마스킹/언마스킹하기 위한 신뢰 실행 환경(Trusted Execution Environment)을 사용하는 비동기식 안전한 집계를 도입한다.
• 독립적인 클라이언트 참여를 가능케 하는 두 계층 시스템 설계(Coordinator, Selector, Aggregator)를 제시한다.
• 지속형 집계기와 메모리 내 대기열로 구성된 빠르고 병렬화된 집계 파이프라인을 설명한다.
• 거의 100%에 가까운 이용률을 유지하기 위한 클라이언트 선택 및 교체 메커니즘을 자세히 설명한다.
• 생산 환경과 유사한 설정에서 트래픽 및 규모를 고려한 벤치마킹 방법론을 제공한다.

실험 결과

연구 질문

• RQ1 대규모에서 비동기 연합학습(AsyncFL)은 수렴 속도 면에서 동기식 FL(SyncFL)과 어떻게 비교되는가?
• RQ2 이질성 하에서 높은 활용도와 낮은 편향을 가능하게 하면서 비동기식 안전 집계가 프라이버시를 유지할 수 있는가?
• RQ3 수백만 대의 기기에서 생산 규모의 AsyncFL을 가능하게 하는 시스템 설계 선택은 무엇인가?

주요 결과

• AsyncFL은 SyncFL보다 빠르게 수렴하며, 높은 동시성 설정에서 최대 5배의 실시간 속도 향상을 달성한다.
• AsyncFL은 SyncFL에 비해 최대 8배의 통신 오버헤드 감소를 달성한다.
• AsyncFL은 단위 시간당 서버 모델 업데이트를 최대 30배 더 생성한다.
• SyncFL의 과선택은 느린 기기와 데이터가 많은 클라이언트에 대한 샘플링 편향을 초래하여 모델 공정성을 떨어뜨린다.
• AsyncFL은 왜곡되지 않은 SyncFL과 유사한 낮은 편향을 유지하면서 더 빠른 학습과 더 높은 처리량을 제공한다.
• AsyncFL은 공정성이 향상되어 느린 기기가 불균형적으로 제외되지 않는다.