[论文解读] MAB-based Client Selection for Federated Learning with Uncertain Resources in Mobile Networks

Naoya Yoshida, Takayuki Nishio+2 more|arXiv (Cornell University)|Sep 29, 2020

Privacy-Preserving Technologies in Data参考文献 14被引用 4

一句话总结

本文提出了一种基于多臂赌博机（MAB）的客户端选择方法，用于移动网络中客户端资源不确定且波动的联邦学习（FL）。通过平衡探索（测试表现较差的客户端）与利用（选择高资源客户端），该方法降低了联邦学习训练延迟，在资源波动较高时，尤其在 $η=1.99$ 的情况下，显著优于 FedCS，实现了更快的收敛速度。该方法在不牺牲模型准确率的前提下提升了效率。

ABSTRACT

This paper proposes a client selection method for federated learning (FL) when the computation and communication resource of clients cannot be estimated; the method trains a machine learning (ML) model using the rich data and computational resources of mobile clients without collecting their data in central systems. Conventional FL with client selection estimates the required time for an FL round from a given clients' computation power and throughput and determines a client set to reduce time consumption in FL rounds. However, it is difficult to obtain accurate resource information for all clients before the FL process is conducted because the available computation and communication resources change easily based on background computation tasks, background traffic, bottleneck links, etc. Consequently, the FL operator must select clients through exploration and exploitation processes. This paper proposes a multi-armed bandit (MAB)-based client selection method to solve the exploration and exploitation trade-off and reduce the time consumption for FL in mobile networks. The proposed method balances the selection of clients for which the amount of resources is uncertain and those known to have a large amount of resources. The simulation evaluation demonstrated that the proposed scheme requires less learning time than the conventional method in the resource fluctuating scenario.

研究动机与目标

• 解决在客户端计算与通信资源不确定且随时间波动时，联邦学习中的客户端选择挑战。
• 克服传统联邦学习方法依赖稳定且预先估算的资源信息的局限性，此类方法常因假设不准确而导致性能下降。
• 设计一种动态平衡探索（测试了解较少的客户端）与利用（选择高性能客户端）的客户端选择策略，以最小化联邦学习训练延迟。
• 开发一种适用于移动网络的实用、实时客户端选择机制，其中资源可用性因后台任务、网络拥塞和信道质量波动而变化。

提出的方法

• 将客户端选择问题建模为多臂赌博机（MAB）问题，其中每个客户端为一个“臂”，奖励基于估计的训练时间减少量。
• 使用置信上界（UCB）来平衡探索与利用，UCB评分同时包含客户端选择的平均表现与不确定性。
• 提出两种基于 MAB 的客户端选择变体：朴素 MAB-CS（基于公式 4）与逐元素 MAB-CS（使用模型更新与上传时间，并在公式 5–6 中应用 UCB）。
• 将基于 MAB 的选择机制集成到 FedCS 框架中，用动态、具备不确定性感知能力的客户端评估替代固定的延迟估计。
• 在扩展的 FedCS 中采用移动平均估计方法作为基线，而所提方法则利用 MAB 自适应地学习客户端随时间的表现。
• 在蜂窝网络环境中，通过大规模联邦学习训练与深度神经网络，评估在真实资源波动条件下的性能表现。

实验结果

研究问题

• RQ1 当客户端资源不确定且波动时，基于 MAB 的客户端选择在多大程度上提升了联邦学习训练效率？
• RQ2 与假设资源估计稳定的传统方法相比，平衡探索与利用在多大程度上降低了联邦学习训练延迟？
• RQ3 在动态资源条件下，不同 MAB 建模方式（朴素 vs. 逐元素）在客户端选择上的表现如何比较？
• RQ4 在高资源波动场景下，所提方法是否在减少训练时间的同时保持了模型准确率？
• RQ5 当资源估计不可靠时，基于 MAB 的方法是否在收敛速度上优于 FedCS？

主要发现

• 在高资源波动场景下（$\eta = 1.99$），所提的逐元素 MAB-CS 显著降低了训练时间，相比 FedCS 实现了所有评估算法中最大的时间减少比例。
• 在低波动场景下，所有基于 MAB 的方法由于不必要的探索，训练时间略长于 FedCS，证实探索仅在高不确定性条件下具有优势。
• 两种基于 MAB 的方法的 UCB 评分随时间收敛，表明学习到了稳定且一致的客户端选择策略。
• 所有客户端选择方法，包括所提方法，均达到了相似的预测准确率，表明缩短训练时间并未损害模型性能。
• 在高资源波动条件下，逐元素 MAB-CS 在减少训练时间方面优于朴素 MAB-CS，原因在于其对模型更新与上传时间的建模更为精确。
• 仿真结果证实，基于 MAB 的选择方法能有效缓解在动态移动网络环境中因选择资源匮乏客户端而导致的延迟问题。