[论文解读] Joint Device Scheduling and Resource Allocation for Latency Constrained Wireless Federated Learning

Wenqi Shi, Sheng Zhou+3 more|arXiv (Cornell University)|Jul 14, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用 13

一句话总结

该论文提出了一种用于时延约束的无线联邦学习的联合设备调度与资源分配框架，旨在在固定训练时间预算内最大化模型准确率。通过推导训练损失倒数的下界，并将问题解耦为最优带宽分配与贪婪设备选择，该方法优先调度信道条件较差或计算能力较弱的设备，从而在多种网络设置下实现优于现有最优策略的收敛性能。

ABSTRACT

In federated learning (FL), devices contribute to the global training by uploading their local model updates via wireless channels. Due to limited computation and communication resources, device scheduling is crucial to the convergence rate of FL. In this paper, we propose a joint device scheduling and resource allocation policy to maximize the model accuracy within a given total training time budget for latency constrained wireless FL. A lower bound on the reciprocal of the training performance loss, in terms of the number of training rounds and the number of scheduled devices per round, is derived. Based on the bound, the accuracy maximization problem is solved by decoupling it into two sub-problems. First, given the scheduled devices, the optimal bandwidth allocation suggests allocating more bandwidth to the devices with worse channel conditions or weaker computation capabilities. Then, a greedy device scheduling algorithm is introduced, which in each step selects the device consuming the least updating time obtained by the optimal bandwidth allocation, until the lower bound begins to increase, meaning that scheduling more devices will degrade the model accuracy. Experiments show that the proposed policy outperforms state-of-the-art scheduling policies under extensive settings of data distributions and cell radius.

研究动机与目标

• 为解决由于频谱受限和设备异构性导致的每轮训练时延与收敛速率之间的权衡问题。
• 通过联合优化设备调度与资源分配，在固定总训练时间预算内最大化模型准确率。
• 考虑动态无线信道条件，包括信道质量差异与设备计算能力的异质性。
• 通过优先调度在最优带宽分配下更新时间最短的设备，减少延迟者（straggler）效应。
• 开发一种可扩展、自适应的策略，在不同数据分布与小区半径下优于现有调度策略。

提出的方法

• 推导了训练性能损失倒数的下界，其表达式基于训练轮数与每轮调度的设备数量。
• 将准确率最大化问题分解为两个子问题：最优带宽分配与贪婪设备调度。
• 提出应将更多带宽分配给信道条件较差或计算能力较弱的设备，以最小化其更新时间。
• 提出一种贪婪设备调度算法，每轮迭代中选择在最优带宽分配下更新时间最短的设备。
• 一旦损失下界开始上升，即表明准确率增益已出现边际递减，便停止调度更多设备。
• 通过理论分析与期望界推导，在非独立同分布（non-iid）数据与异构设备能力条件下，提供收敛性保证。

实验结果

研究问题

• RQ1 如何联合优化设备调度与资源分配，以在时延约束的无线联邦学习中最大化模型准确率？
• RQ2 调度更多设备对每轮时延与收敛速率之间的权衡有何影响？
• RQ3 应如何在已调度设备间分配带宽，以最小化最大更新时间并减少延迟者效应？
• RQ4 在何种条件下，尽管每轮收敛速度更快，但调度更多设备仍会降低模型准确率？
• RQ5 所提出的策略如何适应不同的数据分布与网络拓扑（如不同小区半径）？

主要发现

• 所提出的联合调度与资源分配策略在各种数据分布场景与小区半径下，均实现了比现有最先进方法更高的模型准确率。
• 最优带宽分配倾向于优先分配给信道条件较差或计算能力较弱的设备，从而缩短其更新时间并缓解延迟者效应。
• 贪婪调度算法在损失下界开始上升时停止添加设备，有效防止最终准确率下降。
• 通过动态调节每轮训练次数与每轮时延，该方法在时间预算内确保收敛。
• 实验结果证实，该策略在同质与异质设备条件下均优于现有方法。
• 理论分析证明，期望的损失倒数存在下界，从而确保收敛至一个定义明确的准确率差距范围内。