[论文解读] FedCor: Correlation-Based Active Client Selection Strategy for Heterogeneous Federated Learning

Minxue Tang, Xuefei Ning+5 more|arXiv (Cornell University)|Mar 24, 2021

Privacy-Preserving Technologies in Data被引用 6

一句话总结

FedCor 提出了一种基于相关性的联邦学习主动客户端选择策略，通过高斯过程（GP）建模客户端损失相关性，以最小化每轮的期望全局损失。通过利用协方差平稳性实现高效的GP训练，FedCor在FMNIST上的收敛速度相比最先进方法提升34–99%，在CIFAR-10上提升26–51%。

ABSTRACT

Client-wise data heterogeneity is one of the major issues that hinder effective training in federated learning (FL). Since the data distribution on each client may vary dramatically, the client selection strategy can significantly influence the convergence rate of the FL process. Active client selection strategies are popularly proposed in recent studies. However, they neglect the loss correlations between the clients and achieve only marginal improvement compared to the uniform selection strategy. In this work, we propose FedCor -- an FL framework built on a correlation-based client selection strategy, to boost the convergence rate of FL. Specifically, we first model the loss correlations between the clients with a Gaussian Process (GP). Based on the GP model, we derive a client selection strategy with a significant reduction of expected global loss in each round. Besides, we develop an efficient GP training method with a low communication overhead in the FL scenario by utilizing the covariance stationarity. Our experimental results show that compared to the state-of-the-art method, FedCorr can improve the convergence rates by $34\%\sim 99\%$ and $26\%\sim 51\%$ on FMNIST and CIFAR-10, respectively.

研究动机与目标

• 解决联邦学习中客户端间数据异构性问题，该问题会降低收敛速度和模型准确率。
• 克服现有主动客户端选择策略将客户端损失独立处理的局限性。
• 开发一种考虑客户端间损失相关性的客户端选择方法，以提升收敛速度。
• 设计一种通信开销低、适用于联邦学习的高效GP训练方法。
• 在非独立同分布（non-IID）和数据不平衡设置下，稳定训练并显著加速收敛。

提出的方法

• 使用高斯过程（GP）建模客户端损失变化，以捕捉客户端间的相关性。
• 制定一种客户端选择策略，通过利用基于GP的预测来最小化期望全局损失。
• 利用协方差平稳性，通过在多轮中复用协方差矩阵来降低GP训练成本。
• 实施一种顺序客户端选择过程，考虑已选客户端之间的依赖关系。
• 对选择概率应用退火策略，以在时间上平衡探索与利用。
• 通过均匀采样客户端选择来训练GP，以确保损失变化分布的正态性和稳定性。

实验结果

研究问题

• RQ1 建模客户端间损失相关性是否能加快异构联邦学习中的收敛速度？
• RQ2 基于GP的客户端选择策略如何比独立选择更有效地降低期望全局损失？
• RQ3 在联邦学习训练中，协方差平稳性在多大程度上成立，从而支持高效的GP推理？
• RQ4 所提出方法对超参数（如GP训练间隔和退火系数）的敏感性如何？
• RQ5 与均匀选择和基于损失的选择相比，相关性感知的选择策略在收敛速度和最终准确率方面是否表现更优？

主要发现

• 与最先进方法相比，FedCor在FMNIST上的收敛速度提升34–99%。
• 在CIFAR-10上，FedCor相比现有方法实现了26–51%的收敛速度提升。
• 该方法对超参数具有鲁棒性：改变退火系数β对收敛速度和最终准确率仅有轻微影响。
• GP模型准确捕捉了客户端损失相关性，经正态性检验和协方差平稳性检验验证。
• 协方差平稳性成立，连续协方差矩阵之间的相似度大于0.9，支持高效的GP更新。
• 具有相关性感知的顺序选择优于均匀随机选择，证明客户端组合的重要性超过单个客户端的质量。