[논문 리뷰] Bayesian Federated Learning over Wireless Networks

Seunghoon Lee, Chanho Park외 3명|arXiv (Cornell University)|2020. 12. 31.

Privacy-Preserving Technologies in Data참고 문헌 34인용 수 16

한 줄 요약

이 논문은 무선 네트워크를 위한 베이지안 플래거레이티드 러닝(BFL)을 제안하며, 서버가 사전 분포, 양자화 함수, 채널 상태 정보를 활용하여 평균제곱오차(MSE)를 최소화할 수 있도록 일비트 양자화된 기울기를 최적화하여 집계한다. 또한, 각 장치당 두 개의 스칼라 파라미터만 전송하는 저복잡도 변형인 확장 가능한-BFL(SBFL)을 도입하여, 이질적인 무선 환경에서 MNIST에서 signSGD보다 뛰어난 수렴 성능을 달성한다.

ABSTRACT

Federated learning is a privacy-preserving and distributed training method using heterogeneous data sets stored at local devices. Federated learning over wireless networks requires aggregating locally computed gradients at a server where the mobile devices send statistically distinct gradient information over heterogenous communication links. This paper proposes a Bayesian federated learning (BFL) algorithm to aggregate the heterogeneous quantized gradient information optimally in the sense of minimizing the mean-squared error (MSE). The idea of BFL is to aggregate the one-bit quantized local gradients at the server by jointly exploiting i) the prior distributions of the local gradients, ii) the gradient quantizer function, and iii) channel distributions. Implementing BFL requires high communication and computational costs as the number of mobile devices increases. To address this challenge, we also present an efficient modified BFL algorithm called scalable-BFL (SBFL). In SBFL, we assume a simplified distribution on the local gradient. Each mobile device sends its one-bit quantized local gradient together with two scalar parameters representing this distribution. The server then aggregates the noisy and faded quantized gradients to minimize the MSE. We provide a convergence analysis of SBFL for a class of non-convex loss functions. Our analysis elucidates how the parameters of communication channels and the gradient priors affect convergence. From simulations, we demonstrate that SBFL considerably outperforms the conventional sign stochastic gradient descent algorithm when training and testing neural networks using MNIST data sets over heterogeneous wireless networks.

연구 동기 및 목표

• 이질적인 무선 네트워크에서 일비트 양자화와 fading 채널을 고려한 플래거레이티드 러닝에서 최적의 기울기 집계 문제를 해결하기 위해.
• 국소 기울기 사전 분포, 양자화 영향, 채널 페이딩을 함께 모델링하여 기울기 추정 정확도를 향상시키기 위해.
• 확장 가능한 변형(SBFL)을 제안하여 대규모 플래거레이티드 러닝에서 계산 및 통신 오버헤드를 줄이기 위해.
• 실제 무선 제약 조건 하에서 비볼록 손실 함수에 대해 SBFL의 수렴성을 분석하기 위해.
• MNIST에서 test 정확도와 수렴 속도 측면에서 signSGD에 비해 뛰어난 성능을 입증하기 위해.

제안 방법

• 베이지안 선형 최소 제곱 오차(BLMMSE) 추정을 사용하여 노이즈가 있는, 흐려진, 일비트 양자화된 기울기들로부터 전역 기울기를 최적화하여 재구성하는 베이지안 플래거레이티드 러닝(BFL)을 제안한다.
• 세 가지 핵심 요소를 통합: 국소 기울기의 사전 분포, 일비트 양자화 함수, 채널 상태 분포를 통해 추정 MSE를 최소화한다.
• 각 장치당 단순화된 가우시안 사전 분포를 가정하고, 전체 기울기 대신 두 개의 스칼라 파라미터(평균과 분산)만 전송하는 확장 가능한-BFL(SBFL)을 도입한다.
• 수신된 신호와 알려진 통계적 파라미터를 사용하여 서버에서 BLMMSE 추정을 수행하여 전역 기울기를 재구성한다.
• 비볼록 목표 함수에 대해 수렴을 보장하기 위해 수렴 분석에서 적응적 학습률 $\gamma^t = \frac{1}{t+1}$을 사용한다.
• 재구성된 기울기의 MSE에 대한 이론적 경계를 유도하고, 최적화 과정에서의 반복별 기대 향상과 연결한다.

실험 결과

연구 질문

• RQ1 이질적인 장치와 fading 채널을 가진 무선 플래거레이티드 러닝 시스템에서 일비트 양자화된 기울기를 어떻게 최적화하여 집계할 수 있는가?
• RQ2 기울기 사전 분포와 채널 품질이 플래거레이티드 러닝에서 기울기 재구성 성능에 미치는 영향은 무엇인가?
• RQ3 낮은 복잡도의 베이지안 기울기 집계 변형을 설계할 수 있는가? 이는 최소한의 통신 오버헤드로도 높은 성능을 유지할 수 있는가?
• RQ4 비볼록 모델에서 제안된 SBFL 알고리즘은 signSGD에 비해 수렴 속도와 최종 테스트 정확도 측면에서 어떻게 비교되는가?
• RQ5 비볼록 손실 함수 하에서 제안된 알고리즘의 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• MNIST 데이터셋에서 이질적인 무선 네트워크 상에서 신경망을 훈련시킬 때, SBFL은 signSGD에 비해 훨씬 높은 테스트 정확도를 달성한다.
• 적절한 학습률 스케줄링 하에서 비볼록 손실 함수에 대해 SBFL의 수렴이 이론적으로 보장된다.
• BFL에서 재구성된 기울기의 MSE는 기울기 사전 분포, 양자화 모델, 채널 상태 분포를 함께 활용함으로써 최소화된다.
• SBFL은 각 장치당 두 개의 스칼라 파라미터만 전송함으로써 통신 비용을 줄이며, 전체 정밀도 집계 성능에 가까운 성능을 유지한다.
• SBFL의 수렴 속도는 채널 품질, 기울기 분산, 학습률 간의 상호작용에 따라 달라지며, 더 좋은 채널 조건이 수렴을 향상시킨다.
• 이론적 분석 결과, 반복별 기대 향상은 진짜 기울기의 노름과 추정 오차 분산에 의해 제한되며, 후자는 채널 및 사전 파rameter에 의해 제어된다.