[논문 리뷰] One-Bit Over-the-Air Aggregation for Communication-Efficient Federated Edge Learning: Design and Convergence Analysis

Guangxu Zhu, Yuqing Du외 2명|arXiv (Cornell University)|2020. 01. 16.

Distributed Sensor Networks and Detection Algorithms참고 문헌 33인용 수 10

한 줄 요약

이 논문은 통신 효율적인 피어드 엣지 학습을 위한 디지털 오버더에어 계산 기반의 1비트 밴드폭 디지털 집계(One-Bit Broadband Digital Aggregation, OBDA)를 제안한다. 엣지 디바이스는 기울기를 1비트로 양자화하고 QAM을 통해 전송하며, 엣지 서버는 오버더에어 다수결 투표를 수행한다. 주요 기여는 채널 잡음, fading, 추정 오차가 편향과 스케일링 인자를 유도하지만, 기판 수가 증가할수록 이들의 영향이 점점 줄어든다는 수렴 분석이다.

ABSTRACT

Federated edge learning (FEEL) is a popular framework for model training at an edge server using data distributed at edge devices (e.g., smart-phones and sensors) without compromising their privacy. In the FEEL framework, edge devices periodically transmit high-dimensional stochastic gradients to the edge server, where these gradients are aggregated and used to update a global model. When the edge devices share the same communication medium, the multiple access channel (MAC) from the devices to the edge server induces a communication bottleneck. To overcome this bottleneck, an efficient broadband analog transmission scheme has been recently proposed, featuring the aggregation of analog modulated gradients (or local models) via the waveform-superposition property of the wireless medium. However, the assumed linear analog modulation makes it difficult to deploy this technique in modern wireless systems that exclusively use digital modulation. To address this issue, we propose in this work a novel digital version of broadband over-the-air aggregation, called one-bit broadband digital aggregation (OBDA). The new scheme features one-bit gradient quantization followed by digital quadrature amplitude modulation (QAM) at edge devices and over-the-air majority-voting based decoding at edge server. We provide a comprehensive analysis of the effects of wireless channel hostilities (channel noise, fading, and channel estimation errors) on the convergence rate of the proposed FEEL scheme. The analysis shows that the hostilities slow down the convergence of the learning process by introducing a scaling factor and a bias term into the gradient norm. However, we show that all the negative effects vanish as the number of participating devices grows, but at a different rate for each type of channel hostility.

연구 동기 및 목표

• 다수의 디바이스가 무선 매체를 공유함에 따라 발생하는 피어드 엣지 학습(Federated Edge Learning, FEEL)의 통신 병목 현상을 해결하기 위해.
• 기존 아날로그 변조를 디지털 QAM으로 대체하여 현대 디지털 무선 시스템에서 오버더에어 집계를 실용적으로 구현하기 위해.
• 동시 전송과 오버더에어 집계를 지원하는 1비트 양자화 및 디지털 변조 방식을 설계하기 위해.
• 채널 잡음, fading, 채널 상태 정보(CSI)의 불완전성 등 무선 채널 손상이 FEEL의 수렴에 미치는 영향을 분석하기 위해.
• 기판 수가 증가함에 따라 채널 손상의 부정적 영향이 사라지는 이론적 조건을 설정하기 위해.

제안 방법

• 통신 오버헤드를 줄이기 위해 각 엣지 디바이스에서 기울기를 1비트로 양자화하는 것.
• 무선 다중접속 채널(Multiple Access Channel, MAC)을 통한 전송을 위한 디지털 직교 진폭 변조(Quadrature Amplitude Modulation, QAM).
• 집계된 기울기를 복원하기 위해 엣지 서버에서 오버더에어 다수결 기반 복원을 수행하는 것.
• fading을 완화하고 신뢰성 있는 전송을 보장하기 위해 절단된 채널 역전력 제어를 사용하는 것.
• 실제 무선 환경을 모델링하기 위해 유한한 추정 오차를 가진 불완전한 채널 상태 정보(Channel State Information, CSI)를 사용하는 것.
• 불완전한 CSI, 잡음, fading 조건 하에서의 비트 오류 확률 상한을 유도하여 수렴 성능 저하를 분석하는 것.

실험 결과

연구 질문

• RQ1 1비트 디지털 오버더에어 집계는 무선 다중접속 채널에서 피어드 엣지 학습의 수렴에 어떤 영향을 미치는가?
• RQ2 채널 잡음, fading, 불완전한 채널 상태 정보는 학습 수렴 속도에 어떤 영향을 미치는가?
• RQ3 OBDA 프레임워크에서 기판 수 증가를 통해 무선 채널 손상의 부정적 영향을 완화할 수 있는가?
• RQ4 이상적인 오버더에어 계산(완벽한 채널 조건)과 비교했을 때 OBDA의 수렴 행동은 어떻게 다른가?
• RQ5 기판 수가 채널 손상으로 인한 편향과 스케일링을 줄이는 데 어떤 역할을 하는가?

주요 결과

• 채널 잡음, fading, 채널 추정 오차는 기울기 노름에 편향과 스케일링 인자를 유도하며, 이는 수렴 속도를 저하시킨다.
• 참여 기판 수가 증가할수록 편향과 스케일링 영향이 감소하며, 각 유형의 손상에 대해 서로 다른 감쇠 속도를 가진다.
• 불완전한 CSI 조건 하에서의 비트 오류 확률은 유한한 상한을 가지며, 활성 기판 수, 신호 대 잡음비, 추정 오차 분산에 의존한다.
• 유한한 채널 추정 오차를 가정할 때, 불완전한 CSI로 인한 수렴 속도 저하가 기판 수 증가에 따라 사라짐을 정량화하고 이를 입증한다.
• 제안된 OBDA 방식은 현실적인 무선 조건에서도 수렴을 유지하며, 오차 상한과 수렴 행동에 대한 이론적 보장을 제공한다.
• 분석 결과, 채널 추정 오차의 영향은 $ \mathcal{O}(1/\sqrt{K}) $ 속도로 감소하는 반면, 잡음 영향은 $ \mathcal{O}(1/K) $ 속도로 감소하며, 여기서 $ K $ 는 기판 수이다.