[论文解读] Improving Semi-supervised Federated Learning by Reducing the Gradient Diversity of Models

Zhengming Zhang, Yaoqing Yang+4 more|arXiv (Cornell University)|Aug 26, 2020

Privacy-Preserving Technologies in Data参考文献 62被引用 16

一句话总结

本文通过减少梯度多样性，提出了一种新颖的半监督联邦学习（SSFL）方法，采用分组归一化（GN）和基于分组的模型平均方法，在测试准确率上显著优于以往的SSFL方法，最高提升达18.10%，且在通信频率较低、数据非独立同分布程度更高的情况下，仍优于多种监督型联邦学习算法。

ABSTRACT

Federated learning (FL) is a promising way to use the computing power of mobile devices while maintaining the privacy of users. Current work in FL, however, makes the unrealistic assumption that the users have ground-truth labels on their devices, while also assuming that the server has neither data nor labels. In this work, we consider the more realistic scenario where the users have only unlabeled data, while the server has some labeled data, and where the amount of labeled data is smaller than the amount of unlabeled data. We call this learning problem semi-supervised federated learning (SSFL). For SSFL, we demonstrate that a critical issue that affects the test accuracy is the large gradient diversity of the models from different users. Based on this, we investigate several design choices. First, we find that the so-called consistency regularization loss (CRL), which is widely used in semi-supervised learning, performs reasonably well but has large gradient diversity. Second, we find that Batch Normalization (BN) increases gradient diversity. Replacing BN with the recently-proposed Group Normalization (GN) can reduce gradient diversity and improve test accuracy. Third, we show that CRL combined with GN still has a large gradient diversity when the number of users is large. Based on these results, we propose a novel grouping-based model averaging method to replace the FedAvg averaging method. Overall, our grouping-based averaging, combined with GN and CRL, achieves better test accuracy than not just a contemporary paper on SSFL in the same settings (>10\%), but also four supervised FL algorithms.

研究动机与目标

• 为解决联邦学习中用户仅拥有未标记数据、服务器仅持有少量标记数据这一现实场景，即半监督联邦学习（SSFL）。
• 研究梯度多样性对SSFL中模型性能的影响，特别是在一致性正则化和归一化层背景下的表现。
• 提出一种新颖的基于分组的模型平均技术，以减少梯度多样性并提升测试准确率，尤其在用户数量较多时表现更优。
• 建立一个强大的SSFL基线，其性能优于当前主流的SSFL方法以及成熟的监督型联邦学习算法。

提出的方法

• 用分组归一化（GN）替代批量归一化（BN），以减少梯度多样性，因在SSFL设置中发现BN会增加梯度多样性。
• 应用一致性正则化损失（CRL）以利用未标记数据，同时发现CRL本身仍存在高梯度多样性问题。
• 引入基于分组的模型平均方法以替代FedAvg，通过在聚合前对具有相似模型更新的用户进行聚类，从而减少梯度多样性。
• 将GN与基于分组的平均方法结合CRL，形成统一的训练流程，提升SSFL中的泛化能力和测试准确率。
• 在多个数据集上评估该方法，并考虑数据非独立同分布程度和通信频率等环境因素的变化。
• 采用虚拟共置假设，将服务器与持有标签的机构视为单一实体，从而在不失一般性的前提下进行数学建模。

实验结果

研究问题

• RQ1 当用户仅拥有未标记数据而服务器仅有少量标记数据时，梯度多样性如何影响半监督联邦学习（SSFL）中的模型性能？
• RQ2 批量归一化（BN）在SSFL中在多大程度上加剧了梯度多样性？分组归一化（GN）能否缓解此问题？
• RQ3 一致性正则化损失（CRL）能否有效提升SSFL性能？尽管其具有优势，是否仍受高梯度多样性影响？
• RQ4 与FedAvg相比，所提出的基于分组的模型平均方法在用户数量较多时，如何更有效地减少梯度多样性？
• RQ5 GN、CRL与基于分组的平均方法的结合是否能在测试准确率上超越当前最先进的SSFL方法以及成熟的监督型联邦学习算法？

主要发现

• 与批量归一化（BN）相比，使用分组归一化（GN）显著降低了SSFL设置中的梯度多样性，并提升了测试准确率。
• 一致性正则化损失（CRL）虽能实现合理的测试准确率，但其梯度多样性仍较高，限制了其在SSFL中的有效性。
• 即使结合GN与CRL，当用户数量较多时，梯度多样性依然显著，因此需要新的聚合策略。
• 所提出的基于分组的模型平均方法进一步降低了梯度多样性，在相同设置下，相比当前主流SSFL方法，测试准确率提升了14.79%至18.10%。
• 尽管通信频率较低、数据非独立同分布程度较高，该方法仍分别以14.44%和0.80%的提升超越了四种监督型联邦学习算法（包括FedAvg和EASGD）。
• 该方法在准确率上达到或优于监督型联邦学习基线，证明了其在真实联邦学习场景中的鲁棒性与泛化能力。