[论文解读] Benchmarking Semi-supervised Federated Learning

Zhang Zheng-ming, Zhewei Yao+4 more|arXiv (Cornell University)|Aug 26, 2020

Privacy-Preserving Technologies in Data参考文献 39被引用 28

一句话总结

本论文提出了一种半监督联邦学习框架，其中边缘设备仅持有未标记数据，而中心服务器持有少量标记数据，以应对类别分布非独立同分布（non-iid）的问题。该方法引入了一种结合组归一化的一致性损失，以及一种新颖的基于分组的模型平均方法，在EMNIST数据集上相比非分组基线方法，准确率最高提升了10.79%。

ABSTRACT

Federated learning promises to use the computational power of edge devices while maintaining user data privacy. Current frameworks, however, typically make the unrealistic assumption that the data stored on user devices come with ground truth labels, while the server has no data. In this work, we consider the more realistic scenario where the users have only unlabeled data and the server has a limited amount of labeled data. In this semi-supervised federated learning (ssfl) setting, the data distribution can be non-iid, in the sense of different distributions of classes at different users. We define a metric, $R$, to measure this non-iidness in class distributions. In this setting, we provide a thorough study on different factors that can affect the final test accuracy, including algorithm design (such as training objective), the non-iidness $R$, the communication period $T$, the number of users $K$, the amount of labeled data in the server $N_s$, and the number of users $C_k\leq K$ that communicate with the server in each communication round. We evaluate our ssfl framework on Cifar-10, SVHN, and EMNIST. Overall, we find that a simple consistency loss-based method, along with group normalization, achieves better generalization performance, even compared to previous supervised federated learning settings. Furthermore, we propose a novel grouping-based model average method to improve convergence efficiency, and we show that this can boost performance by up to 10.79% on EMNIST, compared to the non-grouping based method.

研究动机与目标

• 为解决联邦学习中客户端仅持有未标记数据、而服务器仅持有少量标记数据这一现实场景。
• 研究非独立同分布类别分布、通信周期与客户端数量等不同因素对半监督联邦学习中模型性能的影响。
• 在真实数据与通信约束条件下，评估并比较不同算法设计，包括训练目标与聚合策略。
• 提出并验证一种新颖的基于分组的模型平均技术，以提升收敛性与测试准确率。

提出的方法

• 引入度量 $ R $ 以量化客户端之间类别分布的非独立同分布程度。
• 采用基于一致性损失的训练目标，以有效利用客户端的未标记数据。
• 应用组归一化以提升半监督设置下的泛化能力。
• 提出一种基于分组的模型平均策略，即在每轮中仅聚合选定客户端组的模型，而非所有客户端。
• 使用Cifar-10、SVHN与EMNIST数据集，在不同非独立同分布程度与标签稀缺水平下评估该框架。
• 将通信周期 $ T $、客户端数量 $ K $ 与参与通信的客户端数量 $ C_k \leq K $ 设为可配置的系统参数。

实验结果

研究问题

• RQ1 类别分布的非独立同分布程度（$ R $）如何影响半监督联邦学习中的模型准确率？
• RQ2 通信周期 $ T $、客户端数量 $ K $ 与参与通信的客户端数量 $ C_k $ 对模型收敛与性能有何影响？
• RQ3 所提出的基于分组的模型平均方法与标准平均方法相比，在准确率与收敛效率方面表现如何？
• RQ4 在该半监督设置下，结合组归一化的 一致性损失是否优于传统的监督联邦学习方法？

主要发现

• 即使在半监督条件下，仅采用一致性损失与组归一化的简单方法，其泛化能力也优于以往的监督联邦学习方法。
• 所提出的基于分组的模型平均方法在EMNIST数据集上相比非分组基线方法，测试准确率最高提升10.79%。
• 以 $ R $ 衡量的类别分布非独立同分布程度显著影响模型性能，$ R $ 越高，准确率通常越低。
• 参与通信的客户端数量 $ C_k $ 与通信周期 $ T $ 对收敛速度与最终模型准确率均有显著影响。
• 服务器上标记数据量 ($ N_s $) 起到关键作用，随着 $ N_s $ 增加，性能提升，但超过某一阈值后增益逐渐减小。