[论文解读] A Snapshot of the Frontiers of Client Selection in Federated Learning

Gergely Dániel Németh, Miguel A. Lozano+2 more|arXiv (Cornell University)|Sep 27, 2022

Privacy-Preserving Technologies in Data被引用 8

一句话总结

本文提出了一种用于横向联邦学习中客户端选择的综合性六维分类法，实现了对现有方法的系统性比较，并识别出研究空白。该分类法基于策略、终止条件、客户端特征、共享信息、价值生成和价值解释六个维度对方法进行分类，为联邦学习客户端选择的未来研究与实践提供了指导框架。

ABSTRACT

Federated learning (FL) has been proposed as a privacy-preserving approach in distributed machine learning. A federated learning architecture consists of a central server and a number of clients that have access to private, potentially sensitive data. Clients are able to keep their data in their local machines and only share their locally trained model's parameters with a central server that manages the collaborative learning process. FL has delivered promising results in real-life scenarios, such as healthcare, energy, and finance. However, when the number of participating clients is large, the overhead of managing the clients slows down the learning. Thus, client selection has been introduced as a strategy to limit the number of communicating parties at every step of the process. Since the early naïve random selection of clients, several client selection methods have been proposed in the literature. Unfortunately, given that this is an emergent field, there is a lack of a taxonomy of client selection methods, making it hard to compare approaches. In this paper, we propose a taxonomy of client selection in Federated Learning that enables us to shed light on current progress in the field and identify potential areas of future research in this promising area of machine learning.

研究动机与目标

• 解决联邦学习中客户端选择方法缺乏标准化分类法的问题，该问题阻碍了对现有方法的比较与评估。
• 基于策略、客户端特征和共享信息等关键维度，系统性地对现有客户端选择技术进行分类。
• 识别当前客户端选择方法中的研究空白，特别是关于隐私权衡、公平性与能效方面的不足。
• 提供一个结构化框架，以指导从业者和研究人员根据特定联邦学习场景选择最合适的客户端选择方法。
• 通过倡导开放科学、公开数据集以及与现有联邦学习框架的集成，促进可复现性与基准测试。

提出的方法

• 提出一个六维分类法，用于表征客户端选择方法：策略、终止条件、客户端特征、共享信息、价值生成与价值解释。
• 利用该分类法对文献中50余种现有客户端选择方法进行分类与比较，沿每个维度进行组织。
• 分析客户端选择策略在性能、收敛速度、公平性与隐私之间的权衡。
• 强调在实验评估中应采用FedAdam与FedAdagrad等标准化基线，而不仅限于FedAvg。
• 倡导开放科学实践，包括代码与数据共享，以及与现代联邦学习框架（如Flower、TFF与PySyft）的集成。
• 强调基准数据集（如LEAF与OpenMinded提供的数据集）的重要性，以实现客户端选择研究的可复现性与可比性。

实验结果

研究问题

• RQ1 哪些关键维度能够系统性地对联邦学习中的客户端选择方法进行分类与比较？
• RQ2 在数据不平衡条件下，不同客户端选择策略如何影响联邦学习的收敛速度、模型性能与公平性？
• RQ3 需要服务器访问客户端侧信息的客户端选择方法，会引入哪些隐私与通信开销的权衡？
• RQ4 如何在多样化的联邦学习场景与数据集上一致地评估与比较客户端选择策略？
• RQ5 客户端选择中最重要的研究空白是什么，特别是关于能效、公平性以及与现代联邦学习流水线的集成方面？

主要发现

• 所提出的六维分类法提供了一个结构化框架，用于对客户端选择方法进行分类与比较，从而实现更清晰的基准测试与方法选择。
• 考虑客户端特征（如数据质量、通信稳定性与训练时间）的客户端选择方法，能显著提升收敛速度并减少训练轮次。
• 依赖共享信息（如模型更新方差或数据分布）的方法可提升模型性能，同时降低通信开销。
• 基线方法缺乏标准化，尽管FedAdam与FedAdagrad等更先进的优化器已可用，但FedAvg仍占主导地位。
• 客户端选择与差分隐私及联邦优化器的集成仍研究不足，构成关键研究空白。
• 作者强调迫切需要公开、标准化的基准数据集与开放科学实践，以加速客户端选择研究的可复现性发展。