[论文解读] Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version)

Shuai Wang, Yuncong Hong+4 more|arXiv (Cornell University)|Jan 28, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用 8

一句话总结

该论文提出了一种用于边缘联邦学习的单位模态空中计算（UM-AirComp）框架，通过模拟波束成形实现高效、低延迟的模型聚合，避免了复杂的基带处理。该框架采用新型优化算法PAM与AGP，在自动驾驶仿真中验证了其优越性能，表现出更低的训练损失和更快的收敛速度，且对参数误差高度敏感的应用场景中表现优异。

ABSTRACT

Edge federated learning (FL) is an emerging machine learning paradigm that trains a global parametric model from distributed datasets via wireless communications. This paper proposes a unit-modulus over-the-air computation (UM-AirComp) framework to facilitate efficient edge federated learning, which simultaneously uploads local model parameters and updates global model parameters via analog beamforming. The proposed framework avoids sophisticated baseband signal processing, leading to low communication delays and implementation costs. A training loss bound of UM-AirComp is derived and two low-complexity algorithms, termed penalty alternating minimization (PAM) and accelerated gradient projection (AGP), are proposed to minimize the nonconvex nonsmooth loss bound. Simulation results show that the proposed UM-AirComp framework with PAM algorithm not only achieves a smaller mean square error of model parameters' estimation, training loss, and testing error, but also requires a significantly shorter runtime than that of other benchmark schemes. Moreover, the proposed UM-AirComp framework with AGP algorithm achieves satisfactory performance while reduces the computational complexity by orders of magnitude compared with existing optimization algorithms. Finally, we demonstrate the implementation of UM-AirComp in a vehicle-to-everything autonomous driving simulation platform. It is found that autonomous driving tasks are more sensitive to model parameter errors than other tasks since the former neural networks are more sophisticated containing sparser model parameters.

研究动机与目标

• 为解决由于复杂基带处理导致的边缘联邦学习中通信延迟高和实现成本高的问题。
• 通过空中计算技术，在无线信道上实现本地模型参数的高效聚合。
• 设计低复杂度的优化算法，以最小化UM-AirComp框架中的非凸、非光滑训练损失。
• 评估所提框架在真实场景下的鲁棒性，特别是在自动驾驶等高精度应用中。
• 在车联网（V2X）自动驾驶仿真平台中展示UM-AirComp的可行性和性能。

提出的方法

• 提出一种单位模态空中计算（UM-AirComp）框架，通过模拟波束成形实现本地模型参数与全局模型更新的同时上行链路传输。
• 采用单位模态信号传输以保持恒定包络，降低硬件复杂度，实现能量高效的无线聚合。
• 推导UM-AirComp框架的理论训练损失上界，以指导优化并确保收敛性。
• 提出惩罚交替最小化（PAM）算法，以解决非凸、非光滑优化问题，提升收敛速度与估计精度。
• 引入加速梯度投影（AGP）算法，在保持高性能的同时显著降低计算复杂度。
• 在真实的车联网（V2X）自动驾驶仿真平台中验证框架，评估模型参数误差的敏感性。

实验结果

研究问题

• RQ1 UM-AirComp与传统联邦学习方案相比，在训练损失、模型估计误差和运行效率方面表现如何？
• RQ2 所提出的PAM算法在边缘联邦学习的非凸、非光滑优化中，对收敛性和估计精度的提升程度如何？
• RQ3 AGP算法是否能在将计算复杂度降低数个数量级的同时，实现与PAM相当的性能？
• RQ4 在空中聚合中，自动驾驶任务中的复杂神经网络对模型参数估计误差的敏感程度如何？
• RQ5 UM-AirComp在真实世界V2X自动驾驶仿真平台中的实际可行性与性能表现如何？

主要发现

• 与基准方案相比，采用PAM的UM-AirComp框架在模型参数估计方面具有更小的均方误差。
• 在UM-AirComp框架下使用PAM算法时，训练损失和测试误差显著降低。
• 基于PAM的UM-AirComp方案相比现有基准方法，运行时间显著减少。
• AGP算法相比传统优化算法，将计算复杂度降低了数个数量级，同时保持了令人满意的性能。
• 由于神经网络结构复杂且稀疏，自动驾驶任务对模型参数估计误差表现出更高的敏感性。
• UM-AirComp框架在车联网（V2X）自动驾驶仿真平台中展现出实际可行性与鲁棒的性能表现。