[论文解读] Learning Rate Optimization for Federated Learning Exploiting Over-the-air Computation

Chunmei Xu, Shengheng Liu+3 more|arXiv (Cornell University)|Feb 5, 2021

Indoor and Outdoor Localization Technologies参考文献 46被引用 151

一句话总结

本文提出在过感知计算（AirComp）辅助的联邦学习中采用动态学习率（DLR）优化，以缓解信道引起的聚合失真。通过根据无线信道衰落自适应调整学习率，该方法降低了均方误差（MSE），并提升了MNIST和CIFAR10数据集上的测试准确率，其闭式波束成形设计方案通过渐近分析和仿真得到验证。

ABSTRACT

Federated learning (FL) as a promising edge-learning framework can effectively address the latency and privacy issues by featuring distributed learning at the devices and model aggregation in the central server. In order to enable efficient wireless data aggregation, over-the-air computation (AirComp) has recently been proposed and attracted immediate attention. However, fading of wireless channels can produce aggregate distortions in an AirComp-based FL scheme. To combat this effect, the concept of dynamic learning rate (DLR) is proposed in this work. We begin our discussion by considering multiple-input-single-output (MISO) scenario, since the underlying optimization problem is convex and has closed-form solution. We then extend our studies to more general multiple-input-multiple-output (MIMO) case and an iterative method is derived. Extensive simulation results demonstrate the effectiveness of the proposed scheme in reducing the aggregate distortion and guaranteeing the testing accuracy using the MNIST and CIFAR10 datasets. In addition, we present the asymptotic analysis and give a near-optimal receive beamforming design solution in closed form, which is verified by numerical simulations.

研究动机与目标

• 解决在基于过感知计算（AirComp）的联邦学习中无线信道衰落带来的挑战，该挑战会导致模型聚合失真并降低性能。
• 克服现有方法仅关注物理层资源优化（如功率控制、波束成形）而未利用机器学习超参数的局限性。
• 引入动态学习率（DLR）作为新型自适应机制，实时补偿信道引起的失真。
• 分别针对MISO和MIMO场景，提出DLR优化的闭式与迭代解法。
• 通过在MNIST和CIFAR10数据集上的大量仿真验证DLR的有效性，并对大规模天线部署进行渐近分析。

提出的方法

• 在多输入单输出（MISO）场景中建立DLR优化问题，该问题为凸优化问题，可获得闭式解。
• 通过迭代算法将框架扩展至多输入多输出（MIMO）系统，以求解非凸优化问题。
• 引入一种动态学习率，其在预设的最小值（rmin）和最大值（rmax）之间变化，以适应时变信道条件。
• 提出一种近似最优的接收波束成形设计，通过闭式求和信道向量，最小化聚合失真。
• 应用渐近分析，推导在MISO、SIMO和MIMO配置下大规模天线部署时的理论性能边界。
• 将DLR机制与AirComp集成，实现在模拟域中同时聚合本地模型更新，同时最小化失真。

实验结果

研究问题

• RQ1 在基于AirComp的联邦学习中，动态学习率自适应是否能有效降低由无线衰落信道引起的模型聚合误差？
• RQ2 在真实世界数据集上，DLR在测试准确率和训练损失方面与固定学习率基线相比表现如何？
• RQ3 发射端和接收端天线数量对DLR及波束成形设计的有效性有何影响？
• RQ4 在渐近条件下，闭式接收波束成形解能否在MISO和MIMO系统中实现近似最优性能？
• RQ5 DLR机制如何与物理层波束成形和功率控制协同作用，以提升整体联邦学习收敛性与准确率？

主要发现

• 所提出的DLR方案相比固定学习率基线，显著降低了聚合失真，并提升了MNIST和CIFAR10数据集上的测试准确率。
• 在MNIST数据集上，20个设备配置下，DLR实现97.17%的测试准确率，优于固定学习率的97.01%，表现出持续改进。
• 在MIMO场景中，Nd=2，Nt=4时，DLR在CIFAR10上达到73.86%的准确率，优于固定学习率基线的71.29%。
• 渐近分析表明，当天线数量趋于无穷时，DLR的MSE收敛至理论边界，验证了闭式波束成形设计的有效性。
• 所提出的闭式接收波束成形设计在性能上非常接近理论最小MSE，尤其在大规模MIMO场景中，性能逼近最优边界。
• 仿真结果表明，随着天线数量增加，DLR与固定学习率之间的性能差距逐渐缩小，证实了该方法在高多样性条件下的鲁棒性。