[论文解读] FedCon: A Contrastive Framework for Federated Semi-Supervised Learning

Zewei Long, Jiaqi Wang+3 more|arXiv (Cornell University)|Sep 9, 2021

Privacy-Preserving Technologies in Data参考文献 34被引用 13

一句话总结

本文提出 FedCon，一种用于联邦半监督学习（FedSSL）的新对比学习框架，其中标签数据集中存储在服务器端，未标记数据分布在客户端。通过引入双分支对比网络、基于动量的目标网络以及双损失函数（交叉熵与均方误差），FedCon 有效利用了客户端的未标记数据，在 MNIST、CIFAR-10 和 SVHN 上均实现了 SOTA 性能，适用于 IID 与 Non-IID 场景。

ABSTRACT

Federated Semi-Supervised Learning (FedSSL) has gained rising attention from both academic and industrial researchers, due to its unique characteristics of co-training machine learning models with isolated yet unlabeled data. Most existing FedSSL methods focus on the classical scenario, i.e, the labeled and unlabeled data are stored at the client side. However, in real world applications, client users may not provide labels without any incentive. Thus, the scenario of labels at the server side is more practical. Since unlabeled data and labeled data are decoupled, most existing FedSSL approaches may fail to deal with such a scenario. To overcome this problem, in this paper, we propose FedCon, which introduces a new learning paradigm, i.e., contractive learning, to FedSSL. Experimental results on three datasets show that FedCon achieves the best performance with the contractive framework compared with state-of-the-art baselines under both IID and Non-IID settings. Besides, ablation studies demonstrate the characteristics of the proposed FedCon framework.

研究动机与目标

• 为解决联邦学习中标签数据集中存储于服务器端、未标记数据分布于客户端这一实际挑战，该场景下现有 FedSSL 方法难以有效处理。
• 克服传统半监督学习方法在联邦设置中因标签与未标记数据解耦而导致的性能下降问题。
• 设计一种通用且鲁棒的框架，有效利用异构客户端的未标记数据，同时在 Non-IID 数据分布下保持模型泛化能力。
• 验证对比学习与一致性正则化在具有真实世界数据分布约束的联邦半监督学习设置下的有效性。

提出的方法

• FedCon 在客户端侧采用双分支对比网络架构，包含在线网络与基于动量更新的目标网络，以从未标记数据中学习不变表示。
• 框架在客户端与服务器之间共享主干编码器，客户端模型通过均方误差损失进行训练，以促使同一输入的增强样本对（正样本对）在嵌入空间中彼此靠近。
• 在服务器端，对标签数据应用对比损失，结合交叉熵与一致性正则化，使模型能够从标签样本中学习到鲁棒的表示。
• 服务器通过 FedAvg 聚合客户端更新，并在每轮将更新后的全局模型重新分发给客户端，以保持客户端与服务器之间的模型对齐。
• 采用双顶部层设计，将标签数据（服务器端）与未标记数据（客户端）的损失函数和输出头分离，实现不同的优化目标，同时共享主干编码器。
• 该方法引入基于动量的目标网络更新机制，以稳定训练过程并保留长期表示信息，尤其在数据异构性条件下尤为重要。

实验结果

研究问题

• RQ1 当标签数据集中存储于服务器端、未标记数据分布于客户端时，对比学习能否被有效适配到联邦半监督学习中？
• RQ2 所提出的 FedCon 框架如何处理联邦半监督学习设置下的数据异构性与 Non-IID 数据分布？
• RQ3 在服务器端数据增强设置下，对未标记数据施加的一致性正则化在多大程度上提升了模型性能？
• RQ4 在联邦设置下，双损失机制（交叉熵 + MSE）与标准伪标签法或基于一致性的 SSL 方法相比表现如何？

主要发现

• FedCon 在 MNIST、CIFAR-10 和 SVHN 上均实现了 SOTA 性能，优于现有 FedSSL 基线方法，适用于 IID 与 Non-IID 数据设置。
• 在 MNIST 上，当 γ=0.01（1% 标签数据）与 β=0.05（5% 未标记数据）时，FedCon 搭载一致性损失的测试准确率达到 95.55%，而无一致性损失时为 94.68%，证明了一致性正则化的关键作用。
• 消融实验表明，基于动量的目标网络与双损失设计显著提升了在数据异构性条件下的模型鲁棒性与表示质量。
• 该框架有效缓解了因标签与未标记数据解耦导致的性能下降问题，而这一问题在传统半监督方法的联邦设置中尤为突出。
• 在服务器端对未标记数据施加一致性损失带来了可测量的性能增益，验证了其在泛化至客户端未标记数据之外的潜力。