[论文解读] Client Selection in Federated Learning: Principles, Challenges, and Opportunities

Lei Fu, Huanle Zhang+3 more|arXiv (Cornell University)|Nov 3, 2022

Privacy-Preserving Technologies in Data被引用 11

一句话总结

本文对联邦学习（FL）中的客户端选择进行了全面综述，通过基于原则的算法应对系统异构性和数据异构性，从而提升模型准确率、收敛速度和公平性。文章整合了近期进展，识别关键挑战，并为现实世界联邦学习部署中的客户端选择优化指明了研究机遇。

ABSTRACT

As a privacy-preserving paradigm for training Machine Learning (ML) models, Federated Learning (FL) has received tremendous attention from both industry and academia. In a typical FL scenario, clients exhibit significant heterogeneity in terms of data distribution and hardware configurations. Thus, randomly sampling clients in each training round may not fully exploit the local updates from heterogeneous clients, resulting in lower model accuracy, slower convergence rate, degraded fairness, etc. To tackle the FL client heterogeneity problem, various client selection algorithms have been developed, showing promising performance improvement. In this paper, we systematically present recent advances in the emerging field of FL client selection and its challenges and research opportunities. We hope to facilitate practitioners in choosing the most suitable client selection mechanisms for their applications, as well as inspire researchers and newcomers to better understand this exciting research topic.

研究动机与目标

• 解决联邦学习中客户端异构性的关键挑战，即客户端在数据分布和系统能力方面存在差异。
• 系统性地回顾现有客户端选择算法，以识别其设计原则、性能权衡与局限性。
• 强调当前客户端选择方法在理论保证和标准化基准方面仍显不足。
• 识别在公平性、鲁棒性和可扩展性方面的研究空白，尤其是在大规模和动态联邦学习环境中。
• 推动制定标准化评估指标和大规模开源测试平台，以实现可复现的联邦学习研究。

提出的方法

• 根据算法对系统异构性（如计算能力、带宽）和数据异构性（如非独立同分布数据）的处理方式，对客户端选择算法进行分类。
• 分析2019–2023年间14项代表性工作，重点关注客户端参与的显式效用函数与调度决策。
• 提出一种基于效用函数的客户端选择评估框架，该效用函数综合考虑模型贡献、更新质量与资源约束。
• 将客户端选择策略分类为贪心型、强化学习型、基于Bandit的方法以及基于效用优化的方法。
• 强调需同时考虑数据异构性与系统异构性，如Oort和POWER-OF-CHOICE等方法所体现的那样。
• 倡导采用自适应与动态的选择机制，以兼顾客户端可用性、更新时间戳与通信效率。

Figure 1: An illustration of a standard FL training process that incorporates four steps: model parameter download from the server to the clients, local training on the clients, model parameter upload from the clients to the server, and model aggregation on the server.

实验结果

研究问题

• RQ1 联邦学习客户端中的系统异构性与数据异构性如何影响模型收敛性、准确率与公平性？
• RQ2 现有联邦学习客户端选择算法的关键设计原则与性能权衡是什么？
• RQ3 为何许多客户端选择方法缺乏理论保证？这如何影响其在真实场景中的部署？
• RQ4 当前评估实践的主要局限性是什么，包括评估指标与实验设置？
• RQ5 大规模、开源的测试平台与标准化基准如何提升客户端选择研究的可复现性与公平性？

主要发现

• 客户端选择显著提升了联邦学习性能，有效缓解了数据与系统异构性带来的负面影响。
• Oort与POWER-OF-CHOICE等算法通过联合建模数据与系统异构性，实现了更快的收敛速度。
• 许多客户端选择方法为启发式方法，缺乏对收敛速度、准确率或公平性的理论保证。
• 目前尚无关于最优客户端选择标准的共识——部分研究偏好模型差异较大的客户端，而另一些则倾向于选择模型相似的客户端，具体取决于上下文环境。
• 现有评估指标如“达到准确率所需轮次”与“达到准确率所需时间”不可比，因其与通信负载和轮次时长存在冲突权衡。
• 社区亟需构建大规模、开源的联邦学习测试平台，以实现客户端选择算法的可复现与公平基准测试。