[论文解读] Federated Semi-Supervised Learning with Prototypical Networks

Woojung Kim, Keondo Park+3 more|arXiv (Cornell University)|May 27, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

该论文提出ProtoFSSL，一种新颖的联邦半监督学习框架，通过轻量级类别原型实现客户端间知识共享，以极低的通信和计算成本实现对未标记数据的高精度伪标签化。通过利用原型网络进行一致性正则化，ProtoFSSL在SVHN上达到与全监督联邦学习相当的最先进准确率，同时相比FedMatch将通信量减少2倍，客户端计算量减少1.7–3.4倍。

ABSTRACT

With the increasing computing power of edge devices, Federated Learning (FL) emerges to enable model training without privacy concerns. The majority of existing studies assume the data are fully labeled on the client side. In practice, however, the amount of labeled data is often limited. Recently, federated semi-supervised learning (FSSL) is explored as a way to effectively utilize unlabeled data during training. In this work, we propose ProtoFSSL, a novel FSSL approach based on prototypical networks. In ProtoFSSL, clients share knowledge with each other via lightweight prototypes, which prevents the local models from diverging. For computing loss on unlabeled data, each client creates accurate pseudo-labels based on shared prototypes. Jointly with labeled data, the pseudo-labels provide training signals for local prototypes. Compared to a FSSL approach based on weight sharing, the prototype-based inter-client knowledge sharing significantly reduces both communication and computation costs, enabling more frequent knowledge sharing between more clients for better accuracy. In multiple datasets, ProtoFSSL results in higher accuracy compared to the recent FSSL methods with and without knowledge sharing, such as FixMatch, FedRGD, and FedMatch. On SVHN dataset, ProtoFSSL performs comparably to fully supervised FL methods.

研究动机与目标

• 为解决联邦学习中标签数据有限的挑战，通过有效利用客户端本地的未标记数据。
• 在保持模型准确率的同时，降低联邦半监督学习（FSSL）中的通信和计算开销。
• 探究在使用轻量级原型而非完整模型权重时，客户端间知识共享在FSSL中是否有效。
• 设计一种通信高效、计算轻量的机制，以缓解非独立同分布（non-i.i.i.d.）数据设置下的本地模型偏差。
• 评估基于原型的知识共享与归一化技术在FSSL中的协同效应。

提出的方法

• ProtoFSSL使用原型网络从本地客户端数据中学习类别级嵌入（原型），并通过客户端间共享实现知识迁移。
• 每个客户端使用共享的原型为其未标记数据计算伪标签，并应用一致性正则化以提升伪标签质量。
• 客户端间通过轻量级原型（通常比模型权重小13,000倍）实现知识共享，相比FedMatch等权重共享方法显著降低通信成本。
• 框架采用基于助手的机制，活跃客户端可将原型分享给其他客户端，实现频繁且可扩展的知识交换。
• 原型聚合策略确保即使部分客户端共享低质量原型也具备鲁棒性，且噪声注入可进一步增强隐私保护。
• 该方法可无缝集成BN、GN和sBN等归一化技术，并兼容差分隐私与多方聚合，提升安全性。

实验结果

研究问题

• RQ1 在联邦半监督学习中，轻量级原型共享是否能有效减少模型偏差，同时不增加客户端计算或通信开销？
• RQ2 与FedMatch等权重共享方法相比，基于原型的客户端间知识共享在准确率、通信效率和计算效率方面表现如何？
• RQ3 通过共享原型实现的客户端间一致性正则化是否能提升非独立同分布和低标签数据设置下的模型收敛性？
• RQ4 ProtoFSSL与BN、GN和sBN等归一化技术在性能和收敛性方面如何相互作用？
• RQ5 能否在保持模型准确率的前提下，使原型共享具备隐私保护能力，尤其在数据异构环境中？

主要发现

• 在CIFAR-10、SVHN和STL-10上，ProtoFSSL相比近期FSSL方法实现2.9%至5.7%更高的测试准确率，即使在标签数据有限的情况下亦如此。
• 在SVHN数据集上，ProtoFSSL达到与全监督联邦学习相当的性能，表明其在极小标签数据下仍具备强大的泛化能力。
• 由于采用轻量级原型而非模型权重，ProtoFSSL相比FedMatch将通信成本降低2倍，客户端计算量减少1.7–3.4倍。
• 该方法在传统批量归一化（BN）下表现最佳，表明归一化效果具有框架依赖性，不能泛化至所有联邦学习系统。
• ProtoFSSL与归一化技术表现出显著协同效应，可提升所有测试方法（BN、GN、sBN）的收敛性，尤其在非独立同分布设置下。
• 即使在ResNet17等更大模型上，该框架依然有效，未出现显著过拟合现象，且具备向复杂架构扩展的潜力。