[论文解读] A Joint Learning and Communications Framework for Federated Learning over Wireless Networks

Mingzhe Chen, Zhaohui Yang+4 more|arXiv (Cornell University)|Sep 17, 2019

Privacy-Preserving Technologies in Data参考文献 39被引用 107

一句话总结

该论文提出了一种联邦学习在无线网络上的联合学习与无线通信框架，推导了无线因素对收敛性的影响，并优化用户选择、资源分配和传输功率，以最小化 FL 损失。

ABSTRACT

In this paper, the problem of training federated learning (FL) algorithms over a realistic wireless network is studied. In particular, in the considered model, wireless users execute an FL algorithm while training their local FL models using their own data and transmitting the trained local FL models to a base station (BS) that will generate a global FL model and send it back to the users. Since all training parameters are transmitted over wireless links, the quality of the training will be affected by wireless factors such as packet errors and the availability of wireless resources. Meanwhile, due to the limited wireless bandwidth, the BS must select an appropriate subset of users to execute the FL algorithm so as to build a global FL model accurately. This joint learning, wireless resource allocation, and user selection problem is formulated as an optimization problem whose goal is to minimize an FL loss function that captures the performance of the FL algorithm. To address this problem, a closed-form expression for the expected convergence rate of the FL algorithm is first derived to quantify the impact of wireless factors on FL. Then, based on the expected convergence rate of the FL algorithm, the optimal transmit power for each user is derived, under a given user selection and uplink resource block (RB) allocation scheme. Finally, the user selection and uplink RB allocation is optimized so as to minimize the FL loss function. Simulation results show that the proposed joint federated learning and communication framework can reduce the FL loss function value by up to 10% and 16%, respectively, compared to: 1) An optimal user selection algorithm with random resource allocation and 2) a standard FL algorithm with random user selection and resource allocation.

研究动机与目标

• 在现实无线网络环境中推动联邦学习（FL），在本地模型上传到基站以形成全局模型的场景。
• 量化无线因素（数据包错误、RB 分配、功率）如何影响 FL 收敛性和性能。
• 开发一个优化框架，联合优化用户选择、上行 RB 分配和传输功率以最小化 FL 损失。
• 提供闭式收敛性洞见，用以指导资源分配和学习率设置。
• 通过仿真，展示相对于基线 FL 和仅无线优化方法的性能提升。

提出的方法

• 对 FL 过程进行建模：基站聚合来自选定用户的本地模型，形成全局模型并传输回用户。
• 推导一个闭式表达式，给出将数据包错误率与 FL 性能联系起来的期望 FL 收敛速率。
• 将问题表述为混合整数非线性规划，以在延迟、能量和资源约束下最小化 FL 损失。
• 在给定的用户选择和 RB 分配下计算最优传输功率，然后将问题转化为二分匹配问题，由 Hungarian 算法求解以实现 FL 感知的用户选择和 RB 分配。
• 分析传输功率、RB 分配和用户参与度如何影响收敛性，并就学习率和参与度提供指南。

实验结果

研究问题

• RQ1 无线传输错误和资源约束如何影响无线网络上联邦学习的收敛性和准确性？
• RQ2 在满足延迟和能量约束的前提下，用户选择、上行 RB 分配和传输功率的最优组合是什么？
• RQ3 是否可以通过闭式收敛率有效优化 FL 过程来指导资源分配决策？
• RQ4 学习率和参与度如何影响 FL 对无线引起的错误的鲁棒性？

主要发现

• 提出的联合框架在特定基线下可将识别准确率提高最多 1.4%、3.5% 和 4.1%。
• 推导的 FL 收敛界限显示数据包错误率、RB 分配和用户选择显著影响收敛速度和最终性能。
• 在 FL 感知的用户选择的配合下，最优功率控制和 RB 分配相较于随机资源分配和无 FL 感知调度的 FL 获得收益。
• 当数据包错误率下降、更多用户参与时，收敛差距缩小，表明 FL 感知的无线优化的重要性。
• 暗示性的指导原则：调整学习率和用户参与度可以缓解无线错误影响并保证收敛。