[论文解读] Federated Semi-Supervised Learning with Inter-Client Consistency.

Wonyong Jeong, Jaehong Yoon+2 more|arXiv (Cornell University)|Jun 22, 2020

Privacy-Preserving Technologies in Data参考文献 20被引用 30

一句话总结

本文提出FedMatch，一种新颖的联邦半监督学习方法，通过引入客户端间的一致性损失以及对有标签和无标签数据的参数分解，解决了联邦设置中标签数据有限的挑战。该方法在两种不同场景下均优于本地半监督学习和朴素的联邦半监督学习基线方法。

ABSTRACT

While existing federated learning approaches mostly require that clients have fully-labeled data to train on, in realistic settings, data obtained at the client side often comes without any accompanying labels. Such deficiency of labels may result from either high labeling cost, or difficulty of annotation due to requirement of expert knowledge. Thus the private data at each client may be only partly labeled, or completely unlabeled with labeled data being available only at the server, which leads us to a new problem of Federated Semi-Supervised Learning (FSSL). In this work, we study this new problem of semi-supervised learning under federated learning framework, and propose a novel method to tackle it, which we refer to as Federated Matching (FedMatch). FedMatch improves upon naive federated semi-supervised learning approaches with a new inter-client consistency loss and decomposition of the parameters into parameters for labeled and unlabeled data. Through extensive experimental validation of our method in two different scenarios, we show that our method outperforms both local semi-supervised learning and baselines which naively combine federated learning with semi-supervised learning.

研究动机与目标

• 解决联邦学习中客户端标签数据有限或完全无标签的现实挑战，同时标签仅在服务器端可用。
• 提出一个新的问题设定：联邦半监督学习（Federated Semi-Supervised Learning, FSSL），其中客户端拥有部分或全部无标签数据。
• 开发一种方法，在标签稀缺的情况下通过利用客户端间的一致性以及对有标签和无标签数据的模型参数分离，提升模型泛化能力。
• 在准确率和鲁棒性方面优于现有方法，包括联邦学习与半监督学习的简单组合，以及本地半监督学习基线方法。

提出的方法

• 提出一种新颖的客户端间一致性损失，以促进不同客户端对同一无标签样本预测结果的一致性。
• 将模型参数分解为两部分：一部分用于有标签数据，另一部分用于无标签数据，从而实现独立优化并提升泛化能力。
• 通过结合有标签数据的监督损失和跨客户端无标签数据的一致性正则化来训练模型。
• 利用服务器对有标签数据的访问，通过知识蒸馏或共享监督信号来指导客户端模型。
• 采用类似对比学习的机制，对齐不同客户端对同一样本的预测结果，从而增强模型的鲁棒性和一致性。
• 将客户端间一致性损失整合进联邦平均框架，以保持通信效率和模型收敛性。

实验结果

研究问题

• RQ1 如何有效将联邦学习扩展到客户端标签极少或完全无标签的半监督学习场景？
• RQ2 在客户端标签稀缺的情况下，客户端间一致性在提升模型性能方面起到什么作用？
• RQ3 对有标签和无标签数据进行参数分解是否能提升联邦半监督学习中的泛化能力？
• RQ4 FedMatch在准确率和鲁棒性方面与本地半监督学习方法及朴素的联邦半监督学习基线方法相比表现如何？

主要发现

• FedMatch在客户端完全无标签和部分无标签的两种场景下，均优于本地半监督学习方法。
• 客户端间一致性损失通过降低共享无标签数据在不同客户端上的预测方差，显著提升了模型泛化能力。
• 对有标签和无标签数据的参数分解带来了更稳定和准确的训练过程，尤其在标签可用性较低时表现更优。
• FedMatch优于将联邦学习与半监督学习技术简单组合的朴素基线方法。
• 该方法在两个不同的实验场景中均表现出一致的性能提升，验证了其鲁棒性和泛化能力。
• 结合服务器提供的标签与客户端本地的无标签数据，可在不损害数据隐私的前提下实现有效的知识迁移。