[논문 리뷰] Communication Efficient Federated Learning over Multiple Access Channels

Wei-Ting Chang, Ravi Tandon|arXiv (Cornell University)|2020. 01. 23.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 52

한 줄 요약

본 논문은 federated learning을 위해 Gaussian MAC 위에서 디지털 그래디언트 전송을 설계하고, gradient informativeness와 channel capacity를 기반으로 사용자별 양자화 예산을 할당하는 MAC-aware stochastic gradient quantization을 도입하여 수렴을 개선합니다. 수렴을 분석하고 최적화 프레임워크를 제공하며, 두 사용자 예제 및 실험을 통해 MAC-aware quantization이 uniform 및 기타 디지털 스킴보다 우수하다는 것을 보여줍니다.

ABSTRACT

In this work, we study the problem of federated learning (FL), where distributed users aim to jointly train a machine learning model with the help of a parameter server (PS). In each iteration of FL, users compute local gradients, followed by transmission of the quantized gradients for subsequent aggregation and model updates at PS. One of the challenges of FL is that of communication overhead due to FL's iterative nature and large model sizes. One recent direction to alleviate communication bottleneck in FL is to let users communicate simultaneously over a multiple access channel (MAC), possibly making better use of the communication resources. In this paper, we consider the problem of FL learning over a MAC. In particular, we focus on the design of digital gradient transmission schemes over a MAC, where gradients at each user are first quantized, and then transmitted over a MAC to be decoded individually at the PS. When designing digital FL schemes over MACs, there are new opportunities to assign different amount of resources (such as rate or bandwidth) to different users based on a) the informativeness of the gradients at each user, and b) the underlying channel conditions. We propose a stochastic gradient quantization scheme, where the quantization parameters are optimized based on the capacity region of the MAC. We show that such channel aware quantization for FL outperforms uniform quantization, particularly when users experience different channel conditions, and when have gradients with varying levels of informativeness.

연구 동기 및 목표

• MAC들을 활용하여 federated learning의 통신 비용 감소를 촉진한다.
• MAC 용량과 gradient informativeness에 맞춰 각 사용자의 양자화 예산을 조정한 디지털 그래디언트 전송 스킴을 개발한다.
• MAC 용량 제약 하에 양자화 예산을 할당하는 최적화 문제를 형상화하고 해결한다.
• 두 사용자 예제와 MNIST 실험을 통해 이론적 수렴 보장과 실용적 통찰을 제공한다.

제안 방법

• FL을 모델링하여 M명의 사용자가 Gaussian MAC을 통해 그래디언트를 양자화하여 파라미터 서버(PS)로 전송한다.
• 사용자별 동적 범위를 기반으로 한 다층 확률적 그래디언트 양자화를 도입하고 양자화 레벨 k_m을 결정하는 예산을 도입한다.
• 편향되지 않은 그래디언트 추정치와 한정 분산을 보이고, 그래디언트 동적 범위와 양자화 예산에 따른 수렴 경계를 도출한다.
• MAC-aware 최적화(문제 P)를 형상하여 MAC 용량 제약 하에 사용자 간 분산의 합을 최소화한다.
• 2-사용자 케이스의 느슨한 볼록 해를 해석적으로 풀어 그래预算allocation을 그래디언트 범위와 MAC 용량의 함수로 도출하는 인사이트를 얻는다.
• MNIST 실험을 통해 MAC-aware 양자화가 균일 할당 및 기존 디지털 스킴보다 성능이 우수하다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 MAC를 통해 전송되는 여러 사용자 간의 전송 속도(양자화 예산)를 어떻게 할당하여 federated learning의 수렴을 최적화할 수 있는가?
• RQ2 그래디언트 informativeness(동적 범위)와 MAC 용량이 각 사용자의 최적 양자화 예산에 어떤 영향을 미치는가?
• RQ3 MAC에서의 다사용자 FL를 위한 이터레이션당 예산 최적화의 볼록 완화를 실용적이고 근사적으로 적용할 수 있는가?
• RQ4 MAC-aware 스킴이 실무에서 uniform quantization 및 기존 디지털 스킴보다 더 우수한가?

주요 결과

• MAC-aware gradient quantization은 더 정보가 풍부한 그래디언트(더 높은 동적 범위)를 가진 사용자에게 더 많은 속도를 할당한다.
• 수렴 경계는 각 사용자 그래디언트 양자화 분산의 합에 의존하며, 이는 동적 범위와 양자화 레벨에 의해 제어된다.
• 두 사용자인 경우, 최적 예산은 그래디언트 동적 범위와 MAC 용량을 연결하는 닫힌 형태 유사 조건으로 특징지어질 수 있다.
• MNIST 실험에서 MAC-aware quantization은 uniform 할당, 기존 디지털 스킴, SignSGD, TernGrad를 능가하며 전체 해상도(full-resolution) 성능에 근접한다.
• 총 전력 증가(또는 더 큰 MAC 용량)는 학습 정확도를 향상시키며, 이 스킴은 이에 따라 양자화 예산을 조정한다.
• MAC 제약 하에서 편향되지 않은 그래디언트 추정치를 유지하고 분산을 한정한다.