[论文解读] Federated AirNet: Hybrid Digital-Analog Neural Network Transmission for Federated Learning

Takuya Fujihashi, Toshiaki Koike‐Akino+1 more|arXiv (Cornell University)|Jan 12, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出Federated AirNet，一种面向无线信道的联邦学习混合数字-模拟传输方案。通过结合低比特率数字编码实现基础参数压缩，以及对残差信号进行能量紧凑的模拟调制，该方案在不同信噪比（SNR）环境下均实现了更优的图像分类准确率，优于纯数字与纯模拟方法，尤其在高SNR条件和传输开销降低的情况下表现突出。

ABSTRACT

A key issue in federated learning over wireless channels is how to exchange a large number of the model parameters via time-varying channels. Two types of solutions based on digital and analog schemes are used typically. The digital-based solution takes quantization and entropy coding for compression, whereas transmissions via wireless channels may cause catastrophic errors owing to the all-or-nothing behavior in entropy coding. The analog-based solutions such as AirNet and AirComp use analog modulation for the parameter transmissions. However, such an analog scheme often causes significant distortion due to the source signal's large power without compression gain. This paper proposes a novel hybrid digital-analog transmission-Federated AirNet--for the model parameter transmissions in federated learning. The Federated AirNet integrates low-rate digital coding and energy-compact analog modulation. The digital coding offers the baseline of the model parameters and compacts the source signal power. In addition, the residual parameters, which are obtained from the original and encoded model parameters, are analog-modulated to enhance the baseline according to the instantaneous wireless channel quality. We show that the proposed Federated AirNet yields better image classification accuracy compared with the digital-based and analog-based solutions over a wide range of wireless channel signal-to-noise ratios (SNRs).

研究动机与目标

• 解决无线联邦学习中数字压缩因熵编码易出错及低SNR下性能突然崩溃的脆弱性问题。
• 克服仅使用模拟方案（如AirNet）的失真限制，后者缺乏压缩增益且信号功率过高。
• 通过混合传输策略动态适应瞬时信道质量，提升模型准确率与鲁棒性。
• 在带宽受限的无线环境中，通过最小化总传输符号数，实现高效参数交换。

提出的方法

• 采用低比特率数字编码压缩模型参数的基础部分，降低信号功率并增强抗错能力。
• 计算原始参数与数字编码参数之间的残差信号，以捕捉细微细节。
• 对残差信号应用能量紧凑的模拟调制，并通过功率自适应方式在无线信道中传输。
• 基于信道质量，使用目标阈值（γ₀ = 5 dB）决定是否激活模拟传输。
• 在发射端集成数字与模拟组件，接收端进行联合解码以重构完整模型参数。
• 借鉴联合信源信道编码原理，在衰落无线环境中平衡压缩效率与鲁棒性。

实验结果

研究问题

• RQ1 在时变无线信道下，混合数字-模拟传输相较于纯数字或纯模拟方案，如何提升联邦学习中的模型准确率？
• RQ2 所提方案在不同SNR水平下，能在多大程度上减少传输开销，同时保持高分类准确率？
• RQ3 信道质量对混合方案性能的影响如何，特别是在低SNR与高SNR区域？
• RQ4 训练迭代次数如何影响所提框架中全局与本地模型的收敛性与准确率？

主要发现

• 所提Federated AirNet在所有SNR水平下均实现了全局与本地模型的最高top-1分类准确率，尤其在高SNR区域表现卓越。
• 在SNR高于6 dB时，所提方案实现近乎无误性能，优于基于数字的DeepCABAC与基于模拟的AirNet。
• 在低SNR条件（低于6 dB）下，由于γ₀ = 5 dB的阈值设定，其准确率低于AirNet，但仍显著优于数字方案，表现出更强鲁棒性。
• 所提方案显著减少了所需传输次数：仅2轮传输后即达到>72%准确率，而AirNet与数字方案分别需5轮与7轮。
• 即使带宽需求增加至约5.9 Msymbols，所提方案仍保持优于数字与模拟基线的准确率。
• 混合方法实现了与信道质量同步的渐进式退化与质量提升，避免了纯数字与纯模拟方法中常见的性能饱和与崩溃现象。