[论文解读] Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies

Yae Jee Cho, Jianyu Wang+1 more|arXiv (Cornell University)|Oct 2, 2020

Privacy-Preserving Technologies in Data被引用 221

一句话总结

引入联邦学习中的带偏客户端选择，显示对较高本地损失的关注可加速收敛，并提出 Power-of-Choice 及变体以平衡速度、偏差和开销。

ABSTRACT

Federated learning is a distributed optimization paradigm that enables a large number of resource-limited client nodes to cooperatively train a model without data sharing. Several works have analyzed the convergence of federated learning by accounting of data heterogeneity, communication and computation limitations, and partial client participation. However, they assume unbiased client participation, where clients are selected at random or in proportion of their data sizes. In this paper, we present the first convergence analysis of federated optimization for biased client selection strategies, and quantify how the selection bias affects convergence speed. We reveal that biasing client selection towards clients with higher local loss achieves faster error convergence. Using this insight, we propose Power-of-Choice, a communication- and computation-efficient client selection framework that can flexibly span the trade-off between convergence speed and solution bias. Our experiments demonstrate that Power-of-Choice strategies converge up to 3 $\ imes$ faster and give $10$% higher test accuracy than the baseline random selection.

研究动机与目标

• 在数据异质性与部分参与下，激励并分析带偏客户端选择如何影响 FedAvg 收敛性。
• 量化选择高损失客户端对收敛速度的影响。
• 提出 Power-of-Choice 客户端选择框架，以权衡收敛速度、偏差以及通信/计算成本。
• 开发实用变体，在不牺牲收益的情况下降低计算与通信开销。
• 通过对合成二次问题、合成逻辑回归以及非 IID FMNIST 数据的实验来验证该方法。

提出的方法

• 对带部分客户端参与的 FedAvg 进行建模，并比较无偏与带偏客户端选择。
• 在标准光滑性、强凸性和梯度有界假设下推导收敛性分析。
• 引入 Local-Global Objective Gap 与 Selection Skew 指标，以捕捉异质性与偏差效应。
• 提出 Power-of-Choice (pi_pow-d)，从候选集合中选择 d 个客户端并在该集合中选取损失最高者。
• 提出实用变体（pi_cpow-d、pi_rpow-d）以降低计算和通信开销，包括局部损失的近似。
• 在二次优化、合成逻辑回归与非 IID FMNIST 上给出实验评估。

实验结果

研究问题

• RQ1 带偏客户端选择在带部分参与的联邦平均中如何影响收敛速度和最终解的偏差？
• RQ2 在不产生过高偏差或开销的前提下，选择高损失客户端是否能加速收敛？
• RQ3 在异质性下，选择偏斜（收敛速度）与解偏差之间的权衡是什么？
• RQ4 实用变体的 Power-of-Choice 如何在降低通信与计算成本的同时保持收益？
• RQ5 在合成数据与接近真实的非 IID 联邦数据上，这些策略的表现如何？

主要发现

• 带偏向于选择较高本地损失的客户端相较于无偏/随机选择可以加速收敛。
• 收敛速度随选择偏斜参数增长，在学习率下降的情况下达到 O(1/(T * rho_bar))。
• 偏置引入一个非消失的偏差项，由 rho_tilde/rho_bar 的比值控制；实证结果表明该偏差可能较小。
• Power-of-Choice (pi_pow-d) 在实验中比随机选择快大约 3 倍并且测试精度高约 10%。
• 增加候选集合大小 d 会提高收敛速度，但可能提升最终偏差；实用变体在维持收益的同时降低成本。
• 变体 pi_cpow-d 与 pi_rpow-d 进一步降低计算/通信，在实验中展现出具竞争力甚至更优的准确率。
• 在二次问题、合成联邦数据和非 IID FMNIST 的实验中，持续呈现相对于基线的收敛与准确性提升。