[논문 리뷰] Federated AirNet: Hybrid Digital-Analog Neural Network Transmission for Federated Learning

Takuya Fujihashi, Toshiaki Koike‐Akino외 1명|arXiv (Cornell University)|2022. 01. 12.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 무선 채널을 통해 피어드 페더레이티드 러닝을 위한 하이브리드 디지털-아날로그 전송 방식인 Federated AirNet을 제안한다. 기저 파rameter 압축을 위한 저비트율 디지털 코딩과 잔차의 에너지 효율적인 아날로그 변조를 조합함으로써, 다양한 신호대역비(SNR) 영역에서 기존의 순수 디지털 및 아날로그 방법보다 뛰어난 이미지 분류 정확도를 달성하며, 특히 고신호대역비(SNR) 조건과 낮은 전송 오버헤드에서 뛰어난 성능을 보인다.

ABSTRACT

A key issue in federated learning over wireless channels is how to exchange a large number of the model parameters via time-varying channels. Two types of solutions based on digital and analog schemes are used typically. The digital-based solution takes quantization and entropy coding for compression, whereas transmissions via wireless channels may cause catastrophic errors owing to the all-or-nothing behavior in entropy coding. The analog-based solutions such as AirNet and AirComp use analog modulation for the parameter transmissions. However, such an analog scheme often causes significant distortion due to the source signal's large power without compression gain. This paper proposes a novel hybrid digital-analog transmission-Federated AirNet--for the model parameter transmissions in federated learning. The Federated AirNet integrates low-rate digital coding and energy-compact analog modulation. The digital coding offers the baseline of the model parameters and compacts the source signal power. In addition, the residual parameters, which are obtained from the original and encoded model parameters, are analog-modulated to enhance the baseline according to the instantaneous wireless channel quality. We show that the proposed Federated AirNet yields better image classification accuracy compared with the digital-based and analog-based solutions over a wide range of wireless channel signal-to-noise ratios (SNRs).

연구 동기 및 목표

• 에ント로피 코딩의 오류 민감성과 저신호대역비(SNR)에서의 갑작스러운 성능 붕괴 문제로 인해 디지털 압축 기법이 취약한 점을 해결한다.
• AirNet과 같은 순수 아날로그 방식의 왜곡 제한 문제를 해결하며, 이는 압축 이득이 없고 높은 신호 전력 소모를 동반한다.
• 하이브리드 전송 전략을 통해 실시간 채널 품질에 동적으로 적응함으로써 모델 정확도와 강인성을 향상시킨다.
• 대역폭 제약이 있는 무선 환경에서 총 전송 기호 수를 최소화하면서도 높은 성능을 유지할 수 있도록 효율적인 파rameter 교환을 가능하게 한다.

제안 방법

• 기본 파rameter의 압축을 위해 저비트율 디지털 코딩을 사용하여 신호 전력 감소와 오류 내성 향상을 달성한다.
• 원본 파rameter와 디지털로 인코딩된 파rameter의 차이를 통해 잔차 신호를 계산하여 세밀한 세부 정보를 포착한다.
• 잔차 신호에 에너지 효율적인 아날로그 변조를 적용하고, 채널 품질에 따라 전력 적응을 통해 무선 채널로 전송한다.
• 채널 품질에 따라 아날로그 전송을 활성화할지 여부를 결정하기 위해 목표 임계값(γ₀ = 5 dB)을 사용한다.
• 송신단에서 디지털 및 아날로그 구성 요소를 통합하고, 수신단에서 공동 복원을 통해 전체 파rameter를 재구성한다.
• fading 무선 환경에서 압축 효율성과 강인성을 균형 있게 유지하기 위해 공동 소스-채널 코딩 원리를 활용한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 무선 채널 조건에서 하이브리드 디지털-아날로그 전송 방식이 순수 디지털 또는 아날로그 방식에 비해 모델 정확도에 어떤 영향을 미치는가?
• RQ2 제안된 방식은 다양한 신호대역비(SNR) 수준에서 높은 분류 정확도를 유지하면서 전송 오버헤드를 어느 정도 줄일 수 있는가?
• RQ3 채널 품질이 하이브리드 방식의 성능에 미치는 영향은 무엇이며, 특히 저신호대역비(SNR) 및 고신호대역비(SNR) 영역에서 어떻게 나타나는가?
• RQ4 학습 반복 횟수의 증가가 제안된 아키텍처에서 글로벌 및 로컬 모델의 수렴성과 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 Federated AirNet는 모든 신호대역비(SNR) 수준에서 글로벌 및 로컬 모델의 최고 상위-1 분류 정확도를 달성하며, 특히 고신호대역비(SNR) 영역에서 뛰어난 성능을 보인다.
• 신호대역비(SNR)가 6 dB 이상일 경우, 제안된 방식은 오차 없는 성능에 가까운 수준을 달성하며, 디지털 기반의 DeepCABAC과 아날로그 기반의 AirNet을 모두 능가한다.
• 저신호대역비(SNR) 조건(6 dB 이하)에서는 γ₀ = 5 dB 임계값으로 인해 AirNet보다 정확도가 낮지만, 디지털 기반 방법에 비해 여전히 강인성을 유지한다.
• 전송 라운드 수를 줄일 수 있다: 제안된 방식은 단지 2회의 전송 라운드만으로도 >72%의 정확도를 달성하는 반면, AirNet과 디지털 기반 방법은 각각 5회와 7회의 라운드가 필요하다.
• 대역폭 요구량이 증가함에 따라(최대 약 5.9 Msymbols)에도 불구하고, 제안된 방식은 디지털 및 아날로그 기반 기준보다 뛰어난 정확도를 유지한다.
• 하이브리드 접근 방식은 채널 품질에 따라 재구성 품질이 부드럽게 떨어지거나 향상되는 특성을 보이며, 순수 디지털 및 아날로그 방법에서 관찰되는 포화 및 붕괴 현상을 피할 수 있다.