[논문 리뷰] Federated Learning With Quantized Global Model Updates

Mohammad Mohammadi Amiri, Denız Gündüz외 2명|arXiv (Cornell University)|2020. 06. 18.

Privacy-Preserving Technologies in Data참고 문헌 45인용 수 35

한 줄 요약

본 논문은 서버가 양자화된 글로벌 모델 업데이트를 기기에 방송하고 기기가 양자화된 로컬 업데이트를 전송하는 손실 허용 페더레이티드 러닝(LFL) 프레임워크를 제시하며, 수렴을 분석하고 최소한의 성능 손실로 상당한 통신 절감을 보여준다.

ABSTRACT

We study federated learning (FL), which enables mobile devices to utilize their local datasets to collaboratively train a global model with the help of a central server, while keeping data localized. At each iteration, the server broadcasts the current global model to the devices for local training, and aggregates the local model updates from the devices to update the global model. Previous work on the communication efficiency of FL has mainly focused on the aggregation of model updates from the devices, assuming perfect broadcasting of the global model. In this paper, we instead consider broadcasting a compressed version of the global model. This is to further reduce the communication cost of FL, which can be particularly limited when the global model is to be transmitted over a wireless medium. We introduce a lossy FL (LFL) algorithm, in which both the global model and the local model updates are quantized before being transmitted. We analyze the convergence behavior of the proposed LFL algorithm assuming the availability of accurate local model updates at the server. Numerical experiments show that the proposed LFL scheme, which quantizes the global model update (with respect to the global model estimate at the devices) rather than the global model itself, significantly outperforms other existing schemes studying quantization of the global model at the PS-to-device direction. Also, the performance loss of the proposed scheme is marginal compared to the fully lossless approach, where the PS and the devices transmit their messages entirely without any quantization.

연구 동기 및 목표

• 페더레이션 학습에서 글로벌 모델 방송을 기기로 양자화하는 방식으로 통신 비용을 줄이는 동기를 제시한다.
• 전 세계적으로 양자화된 글로벌 모델 업데이트를 전송하는 손실 허용 페더레이팅 러닝(LFL) 알고리즘을 개발하고 분석한다.
• 서버에서 정확한 로컬 업데이트가 주어졌을 때 LFL의 수렴을 평가하고 양자화 매개변수가 미치는 영향을 정량화한다.
• 표준 데이터셋에서 기존의 PS-to-device 압축 방식과 완전히 손실 없는 기준선과 비교하여 LFL을 평가한다.

제안 방법

• 서버가 기기의 마지막 추정치에 비례하여 양자화된 글로벌 모델 업데이트를 방송하는 LFL을 제안한다.
• 기기들은 이전 추정치에 양자화된 업데이트를 더하여 현재의 글로벌 모델 추정을 재구성하고 tau-스텝 로컬 SGD를 수행한다.
• 기기들은 에르-보정과 함께 로컬 업데이트를 양자화하여 전송하고, 서버는 이러한 양자화된 업데이트를 모아 글로벌 모델을 업데이트한다.
• 수렴 경계가 도출된 QSGD와 유사한 확률적 양자화와 수정된 방송 단계를 사용하고 가정된 정확한 기기 업데이트 하에서 수렴 경계를 유도한다.
• 양자화 오차와 왜곡도 매개변수가 수렴 속도에 미치는 영향을 보여주는 수렴 분석을 제공한다.
• MNIST 및 CIFAR-10에서 LTGM, LGM, LB 기준선과 비교하여 성능을 검증한다.

실험 결과

연구 질문

• RQ1 양자화된 글로벌 모델 업데이트(전체 모델이 아니라)를 방송하는 것이 FL의 수렴 특성을 보존하는가?
• RQ2 양자화 수준이 IID와 비 IID 데이터 분포에서 통신 비용과 학습 정확도에 미치는 영향은 무엇인가?
• RQ3 LFL이 정확도와 필요한 비트 수 면에서 기존의 PS-to-device 압축 방식과 어떻게 비교되는가?

주요 결과

• LFL은 MNIST와 CIFAR-10에서 완전히 손실 없는 학습과 비교할 만한 정확도를 달성하면서도 방송 비트 수를 현저히 줄인다.
• LFL은 PS-to-device 방향에서 글로벌 모델 자체를 양자화하는 LTGM 및 LGM 방식보다 현저히 우수한 성능을 보인다.
• 글로벌 모델 업데이트를 양자화하는 것이 글로벌 모델 자체를 양자화하는 것보다 기기 추정치를 더 잘 만들도록 하여 저 비트 예산에서 효과적인 로컬 훈련을 가능하게 한다.
• 수렴 경계는 양자화 오차와 왜곡도 매개변수가 속도에 미치는 영향을 보여주며, 실제 설정에서의 성능 손실은 미미하다.
• 실험은 iid 및 non-iid 시나리오에서 눈에 띄는 통신 절감(예: 양자화 수준 q1, q2)을 입증하며 성능 저하가 보이지 않는다.