[논문 리뷰] FedPAQ: A Communication-Efficient Federated Learning Method with Periodic Averaging and Quantization

Amirhossein Reisizadeh, Aryan Mokhtari외 3명|arXiv (Cornell University)|2019. 09. 28.

Privacy-Preserving Technologies in Data참고 문헌 40인용 수 260

한 줄 요약

FedPAQ는 주기적 평균화, 부분 기기 참여 및 양자화된 메시지 전송을 결합한 통신 효율적인 연합학습 알고리즘으로, 강하게 볼록 및 비볼록 손실에 대해 거의 최적에 가까운 보장을 제공합니다.

ABSTRACT

Federated learning is a distributed framework according to which a model is trained over a set of devices, while keeping data localized. This framework faces several systems-oriented challenges which include (i) communication bottleneck since a large number of devices upload their local updates to a parameter server, and (ii) scalability as the federated network consists of millions of devices. Due to these systems challenges as well as issues related to statistical heterogeneity of data and privacy concerns, designing a provably efficient federated learning method is of significant importance yet it remains challenging. In this paper, we present FedPAQ, a communication-efficient Federated Learning method with Periodic Averaging and Quantization. FedPAQ relies on three key features: (1) periodic averaging where models are updated locally at devices and only periodically averaged at the server; (2) partial device participation where only a fraction of devices participate in each round of the training; and (3) quantized message-passing where the edge nodes quantize their updates before uploading to the parameter server. These features address the communications and scalability challenges in federated learning. We also show that FedPAQ achieves near-optimal theoretical guarantees for strongly convex and non-convex loss functions and empirically demonstrate the communication-computation tradeoff provided by our method.

연구 동기 및 목표

• 다수의 기기를 가진 연합학습에서 통신 병목을 해소한다.
• 부분 기기 사용 가능성 하에서 확장 가능한 학습을 가능하게 한다.
• 수렴 보장을 유지하면서 업링크 데이터를 양자화된 통신으로 감소시킨다.
• 강하게 볼록하고 비볼록 손실 함수 모두에 대한 이론적 보장을 제공한다.

제안 방법

• 로컬 모델을 일정 횟수의 이터레이션 동안 훈련한 후 동기화된 업데이트를 수행하는 주기적 평균화를 도입한다.
• 매 라운드마다 무작위로 기기 부분 집합을 샘플링하여 부분 기기 참여를 허용한다.
• 통신을 줄이기 위해 기기에서 서버로 보내는 업데이트에 양자화를 적용한다.
• 업데이트를 위한 구체적인 양자화 스킴(저정밀도 양자화기)을 제공한다.
• 다음 글로벌 모델을 구성하기 위해 양자화된 업데이트를 집계하는 알고리즘(FedPAQ)을 제시한다.
• 강하게 볼록 및 비볼록 손실에 적합한 가정 하에서 수렴성을 분석한다.

실험 결과

연구 질문

• RQ1 주기적 평균화, 부분 참여 및 양자화를 통해 수렴성을 해치지 않으면서 FedPAQ가 통신 효율을 달성할 수 있는가?
• RQ2 양자화 및 확률적 기울기에 대한 현실적 가정 하에서 강하게 볼록 및 비볼록 설정에서 FedPAQ의 수렴 보장은 무엇인가?
• RQ3 주기의 길이, 참여율, 양자화가 통신 비용과 수렴 속도 간의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• FedPAQ는 적절한 조건에서 강하게 볼록 손실에 대해 기대값에서 O(1/T) 수렴을 달성한다.
• 비볼록 손실의 경우 주기 길이가 최대 O(√T)까지 허용되면 1차 정지점까지 O(1/√T) 속도로 수렴한다.
• 이론적 결과는 양자화 분산, 부분 참여, 주기적 평균화에 내재된 로컬 업데이트 바이어스를 고려한다.
• 이 프레임워크는 명확한 통신-계산 트레이드오프를 보여주며 양자화가 통신 라운드를 실질적으로 감소시킬 수 있다.
• 특수한 경우에는 알려진 결과를 얻으며(예: 전체 참여, 양자화 없음) 표준 그래디언트 경계 가정을 완화한다.