[论文解读] FedGP: Correlation-Based Active Client Selection for Heterogeneous Federated Learning

Minxue Tang, Xuefei Ning+3 more|arXiv (Cornell University)|Mar 24, 2021

Privacy-Preserving Technologies in Data参考文献 27被引用 14

一句话总结

FedGP 在异构联邦学习中提出了一种基于相关性的主动客户端选择策略，利用高斯过程（GP）建模来预测客户端之间的损失相关性。通过利用历史数据以减少通信开销，并选择能够最大化预期全局损失减少的客户端，FedGP 在 FMNIST 上将收敛速度提升了 1.3–2.3 倍，在 CIFAR-10 上提升了 1.2–1.4 倍，优于当前最先进的主动选择方法。

ABSTRACT

Client-wise heterogeneity is one of the major issues that hinder effective training in federated learning (FL). Since the data distribution on each client may differ dramatically, the client selection strategy can largely influence the convergence rate of the FL process. Several recent studies adopt active client selection strategies. However, they neglect the loss correlations between the clients and achieve marginal improvement compared to the uniform selection strategy. In this work, we propose FedGP -- a federated learning framework built on a correlation-based client selection strategy, to boost the convergence rate of FL. Specifically, we first model the loss correlations between the clients with a Gaussian Process (GP). To make the GP training feasible in the communication-bounded FL process, we develop a GP training method utilizing the historical samples efficiently to reduce the communication cost. Finally, based on the correlations we learned, we derive the client selection with an enlarged reduction of expected global loss in each round. Our experimental results show that compared to the latest active client selection strategy, FedGP can improve the convergence rates by $1.3\sim2.3 imes$ and $1.2\sim1.4 imes$ on FMNIST and CIFAR-10, respectively.

研究动机与目标

• 解决联邦学习中客户端级别的数据异构性问题，该问题显著阻碍收敛。
• 克服现有主动客户端选择策略忽略客户端之间损失相关性的局限性。
• 开发一种通信高效的机制，用于建模客户端间的损失相关性，以提升客户端选择质量。
• 通过选择每轮联邦学习中能带来最大预期全局损失减少的客户端，加速全局模型收敛。
• 在异构联邦学习设置下，实现优于均匀选择和先前主动选择策略的收敛性能。

提出的方法

• 使用高斯过程（GP）建模客户端间损失相关性，以捕捉各客户端训练损失之间的依赖关系。
• 设计一种通信高效的 GP 训练方法，通过重用历史客户端样本以最小化往返通信开销。
• 将客户端选择建模为优化问题，基于学习到的 GP 相关性，最大化预期的全局损失减少量。
• 在每轮联邦学习中动态选择客户端，依据其对全局损失减少的预测贡献，优先选择与当前全局损失呈高负相关的客户端。
• 将基于 GP 的选择机制无缝集成到联邦学习训练流程中，对标准 FedAvg 或类似算法的修改最小。
• 在 GP 中使用核函数，基于客户端的历史损失模式和数据特征编码其相似性。

实验结果

研究问题

• RQ1 对客户端间损失相关性进行建模，是否能带来更优的客户端选择并加快异构联邦学习中的收敛速度？
• RQ2 在通信受限的联邦学习环境中，如何高效训练高斯过程，而无需过多的数据交换？
• RQ3 与均匀或随机客户端选择相比，引入客户端间损失相关性信息是否能提升收敛速度？
• RQ4 在使用历史样本的前提下，通信开销能被减少到何种程度，同时保持高质量的客户端选择？
• RQ5 在收敛速度和模型准确率方面，FedGP 与当前最先进的主动客户端选择方法相比表现如何？

主要发现

• 与最新的主动客户端选择策略相比，FedGP 在 FMNIST 数据集上的收敛速度提升了 1.3 至 2.3 倍。
• 在 CIFAR-10 数据集上，FedGP 相较于最先进的主动选择方法，收敛速度提升了 1.2 至 1.4 倍。
• 基于 GP 的损失相关性建模使客户端选择更加有效，优于忽略客户端间相关性的策略。
• 通信高效的 GP 训练方法通过重用历史客户端样本减少了通信开销，使该方法在真实联邦学习场景中具备可扩展性。
• 在多种数据分布异构的场景下，FedGP 均显著优于均匀选择和先前的主动选择基线方法。
• 该框架在存在显著数据偏移和非独立同分布（non-IID）客户端数据分布的设置下，表现出强鲁棒性与可扩展性。