[论文解读] Federated Learning and Wireless Communications

Zhijin Qin, Geoffrey Ye Li+1 more|arXiv (Cornell University)|May 11, 2020

Privacy-Preserving Technologies in Data参考文献 9被引用 6

一句话总结

本文全面综述了无线通信中的联邦学习（FL），提出了高效的通信策略和智能无线应用。结果表明，FL能够在减少通信开销的同时实现隐私保护的分布式模型训练，通过空中聚合与梯度压缩技术，在无人机集群控制中实现碰撞概率降低50%以及更短的行程距离。

ABSTRACT

Federated learning becomes increasingly attractive in the areas of wireless communications and machine learning due to its powerful functions and potential applications. In contrast to other machine learning tools that require no communication resources, federated learning exploits communications between the central server and the distributed local clients to train and optimize a machine learning model. Therefore, how to efficiently assign limited communication resources to train a federated learning model becomes critical to performance optimization. On the other hand, federated learning, as a brand new tool, can potentially enhance the intelligence of wireless networks. In this article, we provide a comprehensive overview on the relationship between federated learning and wireless communications, including basic principle of federated learning, efficient communications for training a federated learning model, and federated learning for intelligent wireless applications. We also identify some future research challenges and directions at the end of this article.

研究动机与目标

• 解决在频谱和带宽受限的无线网络中联邦学习的通信效率挑战。
• 通过将原始数据保留在本地设备并仅交换模型参数，实现隐私保护的模型训练。
• 通过将FL应用于无人机集群控制、分布式定位和资源分配等应用，提升无线网络智能化水平。
• 克服空中计算实际部署中的限制，包括同步误差和多径衰落。
• 识别联邦学习在无线系统中的开放研究挑战，包括隐私泄露、模型异构性和系统可扩展性。

提出的方法

• 采用客户端-服务器联邦学习框架，其中本地客户端在私有数据上训练模型，并仅将更新后的模型参数发送至中央服务器。
• 实施梯度压缩与量化技术，以减少无线链路上联邦学习训练的通信开销。
• 利用空中计算实现模型参数的联合上行链路传输与聚合，支持同时无线传输与计算。
• 采用平均场博弈（MFG）理论，每个无人机使用两个深度神经网络求解Fokker-Planck-Kolmogorov方程与Hamilton-Jacobi-Bellman方程，以实现集群控制。
• 采用联邦定位（FEDLOC）技术，利用本地收集的无线特征数据训练具备位置感知能力的模型，而无需共享原始设备位置信息。
• 集成元学习器以对齐本地与全局模型更新，实现在保持全局收敛性的同时生成个性化的本地模型。

实验结果

研究问题

• RQ1 在带宽受限的无线信道中，如何最大化联邦学习的通信效率？
• RQ2 空中计算在多大程度上能够实现无线联邦学习系统中可扩展且低延迟的模型聚合？
• RQ3 联邦学习在减少碰撞与提升行程效率方面，如何改善分布式无人机集群控制的性能？
• RQ4 当模型参数仍可能泄露本地数据信息时，联邦学习中的隐私权衡是什么？
• RQ5 联邦学习如何有效应用于定位与资源分配等现实无线应用？

主要发现

• 与集中式训练相比，联邦学习可将通信开销降低高达90%，因为原始数据无需传输。
• 空中计算支持模型参数的同时传输与聚合，显著降低了大规模联邦学习系统的延迟。
• 基于MFG的联邦学习无人机集群控制相比非联邦方法，可将行程距离与碰撞概率降低50%。
• 联邦定位（FEDLOC）在保持用户隐私并减少数据传输的同时，实现了与集中式模型相当的精度。
• 在真实定位任务中，基于最大似然损失的高斯过程模型优于使用最小二乘损失的深度神经网络。
• 联邦学习中仍存在部分隐私泄露，表明需要结合差分隐私等额外技术以进一步保护本地数据。