[论文解读] Federated Semi-Supervised Learning with Inter-Client Consistency & Disjoint Learning

Wonyong Jeong, Jaehong Yoon+2 more|arXiv (Cornell University)|Jun 22, 2020

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出了联邦匹配（FedMatch），一种新颖的联邦半监督学习（FSSL）框架，解决了两种现实场景：标签在客户端（labels-at-client）和标签仅在服务器端（labels-at-server）。FedMatch通过一种新型的一致性损失实现客户端间的一致性，并利用参数分解将监督学习与无监督学习分离，从而减少干扰和通信成本。在多个基准测试中，FedMatch在非独立同分布（non-i.i.d.）和独立同分布（i.i.d.）数据上均显著优于本地SSL以及简单的FL+SSL组合。

ABSTRACT

While existing federated learning approaches mostly require that clients have fully-labeled data to train on, in realistic settings, data obtained at the client-side often comes without any accompanying labels. Such deficiency of labels may result from either high labeling cost, or difficulty of annotation due to the requirement of expert knowledge. Thus the private data at each client may be either partly labeled, or completely unlabeled with labeled data being available only at the server, which leads us to a new practical federated learning problem, namely Federated Semi-Supervised Learning (FSSL). In this work, we study two essential scenarios of FSSL based on the location of the labeled data. The first scenario considers a conventional case where clients have both labeled and unlabeled data (labels-at-client), and the second scenario considers a more challenging case, where the labeled data is only available at the server (labels-at-server). We then propose a novel method to tackle the problems, which we refer to as Federated Matching (FedMatch). FedMatch improves upon naive combinations of federated learning and semi-supervised learning approaches with a new inter-client consistency loss and decomposition of the parameters for disjoint learning on labeled and unlabeled data. Through extensive experimental validation of our method in the two different scenarios, we show that our method outperforms both local semi-supervised learning and baselines which naively combine federated learning with semi-supervised learning. The code is available at https://github.com/wyjeong/FedMatch.

研究动机与目标

• 为解决联邦学习中标签有限或缺失的实际挑战，即客户端通常仅有部分标签或完全无标签的数据。
• 提出一种统一的联邦半监督学习（FSSL）框架，能够处理两种现实场景：标签在客户端和标签在服务器端。
• 通过将模型参数分解为密集（有标签）和稀疏（无标签）组件，减少监督学习与无监督学习之间的干扰。
• 通过仅传输全局与本地模型参数之间的差异，而非完整模型权重，降低通信成本，实现参数分解。
• 通过客户端间的一致性损失提升模型泛化能力，确保各客户端预测结果的一致性。

提出的方法

• 引入一种客户端间一致性损失，通过最大化不同客户端模型预测结果的一致性，促进联邦网络中的知识蒸馏。
• 采用参数分解策略，将模型权重划分为两部分：用于有标签数据的密集组件和用于无标签数据的稀疏加法组件。
• 利用稀疏加法参数更新，将无监督学习与监督学习隔离，减少灾难性遗忘和干扰。
• 通过仅传输全局与本地模型参数之间的差异，而非完整模型权重，降低通信成本。
• 在客户端本地训练中应用标准的半监督学习技术（如伪标签、数据增强），并利用分解后的参数实现分离学习。
• 在服务器端使用类似FedAvg的平均策略聚合本地模型，但强制在客户端之间实施一致性正则化。

实验结果

研究问题

• RQ1 当标签仅在服务器端可用时，联邦学习框架能否有效利用有标签和无标签数据？
• RQ2 在去中心化环境中，如何在不共享原始数据或标签的前提下强制实现客户端间的一致性？
• RQ3 参数分解能否在联邦半监督学习中减少监督学习与无监督学习之间的干扰？
• RQ4 FedMatch在非独立同分布和独立同分布数据设置下，是否优于简单的联邦学习与半监督学习组合？
• RQ5 通过传输参数差异，能否在半监督联邦学习环境中提升通信效率？

主要发现

• FedMatch在标签在客户端和标签在服务器端两种场景下，均显著优于本地半监督学习以及FL与SSL的简单组合。
• 在CIFAR-10数据集上，当有20%的标签时，FedMatch在标签在客户端场景下达到92.1%的测试准确率，优于基线方法FedProx-UDA/FixMatch。
• 在更具挑战性的标签在服务器端场景中，FedMatch在20%标签下达到89.3%的准确率，证明了即使客户端无任何标签，该方法依然有效。
• 随着标签数据增加，性能持续提升；而基线模型（如FedProx-UDA/FixMatch）在标签数量从5增加到10时出现性能下降。
• 通过仅传输参数差异，该方法显著降低了通信成本，实现在无需传输完整模型的前提下高效更新模型。
• 客户端间一致性损失使各客户端的预测更加鲁棒且对齐，从而在非独立同分布数据设置下提升了泛化能力。