[论文解读] Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction

Jianyi Zhang, Ang Li+7 more|arXiv (Cornell University)|Sep 30, 2022

Privacy-Preserving Technologies in Data被引用 13

一句话总结

Fed-CBS 是一种针对联邦学习的异质性感知客户端采样机制，通过利用隐私保护的类别不平衡度量，减少了所选客户端数据中的类别不平衡。相比随机采样，其测试准确率提升 2–7%，收敛速度更快，甚至在某些非独立同分布（non-IID）设置下优于全客户端参与。

ABSTRACT

Due to limited communication capacities of edge devices, most existing federated learning (FL) methods randomly select only a subset of devices to participate in training for each communication round. Compared with engaging all the available clients, the random-selection mechanism can lead to significant performance degradation on non-IID (independent and identically distributed) data. In this paper, we show our key observation that the essential reason resulting in such performance degradation is the class-imbalance of the grouped data from randomly selected clients. Based on our key observation, we design an efficient heterogeneity-aware client sampling mechanism, i.e., Federated Class-balanced Sampling (Fed-CBS), which can effectively reduce class-imbalance of the group dataset from the intentionally selected clients. In particular, we propose a measure of class-imbalance and then employ homomorphic encryption to derive this measure in a privacy-preserving way. Based on this measure, we also design a computation-efficient client sampling strategy, such that the actively selected clients will generate a more class-balanced grouped dataset with theoretical guarantees. Extensive experimental results demonstrate Fed-CBS outperforms the status quo approaches. Furthermore, it achieves comparable or even better performance than the ideal setting where all the available clients participate in the FL training.

研究动机与目标

• 解决因非独立同分布（non-IID）数据和随机客户端选择导致的联邦学习性能下降问题。
• 将分组客户端数据中的类别不平衡识别为随机采样下性能下降的根本原因。
• 设计一种客户端采样机制，在不损害隐私的前提下，保持聚合训练数据的类别平衡。
• 为在类别不平衡约束下的客户端选择问题提供理论收敛性保证和 NP-难问题分析。
• 证明 Fed-CBS 在非 IID、类别不平衡的联邦学习设置下，优于随机采样和全客户端参与。

提出的方法

• 提出一种基于本地客户端数据分布的隐私保护类别不平衡度量指标，称为 QCID（量化类别不平衡度）
• 设计一种客户端采样策略，通过最小化 QCID 来确保聚合数据集的类别平衡
• 引入基于阈值的选择机制，其中阈值 ε 根据类别数量和期望的平衡程度进行设定
• 将客户端选择建模为一个优化问题，在非 IID 数据下具有理论收敛性保证
• 将 Fed-CBS 作为即插即用模块集成到现有联邦学习算法中，提升性能而不改变核心训练流程
• 使用贪心近似算法在实际中高效求解 NP-难的客户端选择问题

实验结果

研究问题

• RQ1 为何在非独立同分布（non-IID）联邦学习设置下，随机客户端选择会降低模型性能？
• RQ2 是否能够以隐私保护的方式量化从所选客户端聚合数据中的类别不平衡？
• RQ3 如何优化客户端采样以最小化类别不平衡，同时保持通信效率？
• RQ4 像 Fed-CBS 这类异质性感知的采样策略是否在准确率和收敛性方面优于随机选择和全客户端参与？
• RQ5 Fed-CBS 是否可以与现有联邦学习优化技术集成，以进一步提升性能？

主要发现

• Fed-CBS 通过最小化 QCID 指标，减少了聚合训练数据中的类别不平衡，从而提升了模型泛化能力。
• 在 CIFAR-10 数据集上，当 α=0.2 时，与随机客户端选择和基线方法相比，Fed-CBS 将测试准确率提升了 2–7%。
• Fed-CBS 加速了收敛过程，在 FEMNIST 上仅需 980 ± 17 次通信轮次即可达到 75% 的测试准确率，优于随机采样（1106 ± 24 次轮次）。
• 即使仅选择 30 名客户端（少于 3550 名客户端的 1%），Fed-CBS 在 FEMNIST 上的性能仍优于随机选择 120 名客户端。
• 当全局数据集存在类别不平衡时，该方法甚至优于全客户端参与的理想情况，凸显了类别平衡在客户端选择中的关键作用。
• 实验结果证实，基于类别数量设置 ε 可提升选择质量，当选择的客户端数 M > 10 时性能达到最优。