[论文解读] Device Scheduling with Fast Convergence for Wireless Federated Learning

Wenqi Shi, Sheng Zhou+1 more|arXiv (Cornell University)|Nov 3, 2019

Privacy-Preserving Technologies in Data参考文献 5被引用 12

一句话总结

本文提出了一种面向无线联邦学习的联合带宽分配与设备调度策略，在时间约束下加速收敛。通过同时优化每轮延迟与学习效率，贪婪调度策略在450秒训练预算内实现显著更高的模型准确率——最高提升14.8%，优于当前最先进基线方法。

ABSTRACT

Owing to the increasing need for massive data analysis and model training at the network edge, as well as the rising concerns about the data privacy, a new distributed training framework called federated learning (FL) has emerged. In each iteration of FL (called round), the edge devices update local models based on their own data and contribute to the global training by uploading the model updates via wireless channels. Due to the limited spectrum resources, only a portion of the devices can be scheduled in each round. While most of the existing work on scheduling focuses on the convergence of FL w.r.t. rounds, the convergence performance under a total training time budget is not yet explored. In this paper, a joint bandwidth allocation and scheduling problem is formulated to capture the long-term convergence performance of FL, and is solved by being decoupled into two sub-problems. For the bandwidth allocation sub-problem, the derived optimal solution suggests to allocate more bandwidth to the devices with worse channel conditions or weaker computation capabilities. For the device scheduling sub-problem, by revealing the trade-off between the number of rounds required to attain a certain model accuracy and the latency per round, a greedy policy is inspired, that continuously selects the device that consumes the least time in model updating until achieving a good trade-off between the learning efficiency and latency per round. The experiments show that the proposed policy outperforms other state-of-the-art scheduling policies, with the best achievable model accuracy under training time budgets.

研究动机与目标

• 填补无线联邦学习（FL）研究中关于在总训练时间预算下收敛性能的空白，而非仅关注轮次数量。
• 构建联合带宽分配与设备调度问题，以最小化达到目标模型准确率的期望时间。
• 设计一种调度策略，在动态无线环境中平衡学习效率与每轮延迟。
• 在真实世界时间约束下，相比现有调度策略，提升收敛速度与最终模型准确率。

提出的方法

• 将联合优化问题分解为两个子问题：带宽分配与设备调度。
• 推导出一种最优带宽分配策略，优先考虑信道条件较差或计算能力较弱的设备。
• 提出一种贪婪调度策略，基于最小更新时间选择设备，以在每轮中最大化调度设备数量并最小化延迟。
• 使用二分查找数值求解给定调度设备集合下的带宽分配子问题。
• 整合带宽分配与调度决策，联合优化时间约束下的收敛速度。
• 通过基于实时信道与计算条件持续重新评估设备选择，使策略适应动态环境。

实验结果

研究问题

• RQ1 如何在固定总训练时间预算下优化无线联邦学习中的设备调度，以提升收敛速度？
• RQ2 每轮调度设备数量与每轮延迟之间的权衡是什么？如何实现最优性能平衡？
• RQ3 联合带宽分配如何影响无线FL系统中的收敛时间与最终模型准确率？
• RQ4 在时间约束下，所提策略相较于现有调度基线（如随机、比例公平、基于时间阈值的策略）在模型准确率方面优势有多大？
• RQ5 在不同网络条件（如小区半径与设备异构性）下，所提策略的性能如何变化？

主要发现

• 所提调度策略在450秒训练时间内实现89.85%的测试准确率，显著优于Random-opt（75.05%）、CL-low（82.38%）、CL-high（87.50%）与PF（86.57%），分别提升14.8%、7.47%、2.35%与3.28%。
• 该策略将每轮平均延迟降低至12.07秒，同时每轮平均调度8.31台设备，实现了学习效率与延迟之间更优的权衡。
• 与优先考虑收敛速度而非延迟的CL-high相比，所提策略在达到80%准确率时快53秒（171秒 vs. 224秒）。
• 在较大小区半径（如1400米）下，该策略的优势最为显著，此时通信延迟占主导；随着小区半径减小，延迟差异减小，优势随之减弱。
• 所提策略能良好适应不同网络条件，在不同小区半径下均保持显著高于基线的准确率。
• 带宽分配策略优先为信道质量较差或计算能力较低的设备分配更多频谱，从而提升公平性与收敛效率。