[论文解读] Is Shapley Value fair? Improving Client Selection for Mavericks in Federated Learning

Jiyue Huang, Chi Hong+2 more|arXiv (Cornell University)|Jun 20, 2021

Privacy-Preserving Technologies in Data参考文献 42被引用 5

一句话总结

该论文提出FedEMD，一种新型联邦学习客户端选择策略，通过使用Wasserstein距离衡量数据分布差异，优先选择拥有稀有或独占数据类别的客户端（Mavericks），从而提升收敛速度。在FedAvg设置中，FedEMD相比Shapley值和最先进方法，收敛速度至少提升26.9%，尤其在数据分布偏斜的场景下表现更优。

ABSTRACT

Shapley Value is commonly adopted to measure and incentivize client participation in federated learning. In this paper, we show -- theoretically and through simulations -- that Shapley Value underestimates the contribution of a common type of client: the Maverick. Mavericks are clients that differ both in data distribution and data quantity and can be the sole owners of certain types of data. Selecting the right clients at the right moment is important for federated learning to reduce convergence times and improve accuracy. We propose FedEMD, an adaptive client selection strategy based on the Wasserstein distance between the local and global data distributions. As FedEMD adapts the selection probability such that Mavericks are preferably selected when the model benefits from improvement on rare classes, it consistently ensures the fast convergence in the presence of different types of Mavericks. Compared to existing strategies, including Shapley Value-based ones, FedEMD improves the convergence of neural network classifiers by at least 26.9% for FedAvg aggregation compared with the state of the art.

研究动机与目标

• 探究Shapley值是否公平评估了在联邦学习中拥有稀有或独占数据类别（Mavericks）的客户端贡献。
• 解决现有客户端选择策略（包括Shapley值）在处理具有类别所有权偏斜的非独立同分布（non-i.i.d.）数据分布时的局限性。
• 设计一种自适应优先选择Mavericks的客户端选择策略，使其在最能提升模型对稀有类别性能时被选中。
• 证明基于数据分布的客户端选择策略，特别是通过Wasserstein距离实现的，相比基于分数或随机选择，能实现更快的收敛速度。

提出的方法

• FedEMD使用客户端本地数据分布与全局数据分布之间的Wasserstein距离来计算选择概率。
• 在训练初期，与全局分布差异更大的客户端——尤其是Mavericks——被赋予更高的选择概率。
• 选择概率在各轮次中动态调整，当Mavericks的数据最能促进全局模型在稀有类别上的学习时，优先选择它们。
• 该方法轻量化，可无缝集成到FedAvg及其他聚合方案中，无需重新训练模型。
• 通过在模型准确率趋于稳定后降低Mavericks的选择概率，避免其在后期被过度加权。
• 该方法设计上对数据量不平衡和分布偏移具有鲁棒性，尤其适用于非独立同分布的联邦学习场景。

实验结果

研究问题

• RQ1 Shapley值是否公平评估了在联邦学习中拥有稀有或独占数据类别的客户端（Mavericks）的贡献？
• RQ2 当由于贡献度量偏差导致Mavericks代表性不足时，客户端选择策略的性能会如何退化？
• RQ3 能否通过基于分布的客户端选择策略（特别是利用Wasserstein距离）提升非独立同分布联邦学习中的收敛速度？
• RQ4 FedEMD在收敛速度和稳定性方面，相比Shapley值和最先进客户端选择方法，优势有多大？
• RQ5 FedEMD在不同类型Mavericks（包括稀有类别独占和共享拥有）下的表现如何？

主要发现

• 在FedAvg设置中，FedEMD相比最先进方法收敛速度至少提升26.9%，且在非独立同分布场景中优势最为显著。
• 基于Shapley值的选择低估了Mavericks的贡献，尤其在训练初期，因其数据分布与全局模型存在显著差异。
• 在所有数据集（包括MNIST、FMNIST、Cifar-10和STL-10）中，FedEMD在收敛速度上持续优于随机选择、TiFL、FedFast、FedProx和FedSGD。
• 对于独占Mavericks，FedEMD实现最快收敛；而FedFast和TiFL因聚类或随机因素导致性能下降或不稳定。
• 在共享Mavericks场景下，FedEMD保持快速收敛且标准差更低，表明其稳定性优于其他方法。
• 随着共享Mavericks数量增加，FedEMD的收敛速度略有提升，因为均衡分布更接近i.i.i.d.设置，此时随机选择性能也较好。