[论文解读] Dual Class-Aware Contrastive Federated Semi-Supervised Learning

Qi Guo, Yong Qi+2 more|arXiv (Cornell University)|Nov 16, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出了一种新型联邦半监督学习方法——双类感知对比联邦半监督学习（DCCFSSL），通过双类感知对比模块和认证加权聚合机制，有效降低了有标签与无标签客户端之间的模型偏差，并缓解了确认偏见。DCCFSSL在CIFAR-10、CIFAR-100和STL-10数据集上仅使用10%有标签客户端时，性能已达到当前最优水平，甚至优于标准联邦监督学习方法。

ABSTRACT

Federated semi-supervised learning (FSSL), facilitates labeled clients and unlabeled clients jointly training a global model without sharing private data. Existing FSSL methods predominantly employ pseudo-labeling and consistency regularization to exploit the knowledge of unlabeled data, achieving notable success in raw data utilization. However, these training processes are hindered by large deviations between uploaded local models of labeled and unlabeled clients, as well as confirmation bias introduced by noisy pseudo-labels, both of which negatively affect the global model's performance. In this paper, we present a novel FSSL method called Dual Class-aware Contrastive Federated Semi-Supervised Learning (DCCFSSL). This method accounts for both the local class-aware distribution of each client's data and the global class-aware distribution of all clients' data within the feature space. By implementing a dual class-aware contrastive module, DCCFSSL establishes a unified training objective for different clients to tackle large deviations and incorporates contrastive information in the feature space to mitigate confirmation bias. Moreover, DCCFSSL introduces an authentication-reweighted aggregation technique to improve the server's aggregation robustness. Our comprehensive experiments show that DCCFSSL outperforms current state-of-the-art methods on three benchmark datasets and surpasses the FedAvg with relabeled unlabeled clients on CIFAR-10, CIFAR-100, and STL-10 datasets. To our knowledge, we are the first to present an FSSL method that utilizes only 10\% labeled clients, while still achieving superior performance compared to standard federated supervised learning, which uses all clients with labeled data.

研究动机与目标

• 解决联邦半监督学习（FSSL）中因训练目标差异与数据异构性导致的有标签与无标签客户端本地模型间存在显著偏差的问题。
• 缓解FSSL中因一致性正则化过程中对自生成伪标签过拟合而引发的噪声伪标签所导致的确认偏见。
• 通过在特征空间中对齐本地与全局类感知分布，实现有标签与无标签客户端之间的有效协作。
• 通过基于可靠样本的认证加权聚合机制，提升中心服务器端模型的聚合鲁棒性。
• 证明即使在极少量有标签数据条件下（具体为10%有标签客户端），FSSL仍可实现优越性能，超越基准数据集上的全监督联邦学习。

提出的方法

• 引入双类感知对比模块，用于在特征空间中建模每个客户端的本地类感知分布以及所有客户端之间的全局类感知分布。
• 设计统一的对比损失函数，将本地原型与全局原型对齐，从而减少有标签与无标签客户端模型之间的差异。
• 利用类原型作为各类的代表性嵌入，增强特征空间对齐，提升模型泛化能力。
• 设计一种认证加权聚合策略，为拥有更多可靠（经认证）伪标签样本的客户端分配更高权重，从而提升服务器端模型的鲁棒性。
• 在伪标签化过程中集成一致性正则化，同时利用对比学习优化特征表示，降低伪标签中的噪声。
• 通过为每个客户端仅增加一个固定大小的原型表示（与模型大小无关），保持极低的通信开销。

实验结果

研究问题

• RQ1 能否设计一种统一的训练目标，以减少联邦半监督学习中因有标签与无标签客户端之间目标差异导致的模型偏差？
• RQ2 在不完全依赖模型置信度阈值的前提下，如何有效缓解FSSL中由噪声伪标签引发的确认偏见？
• RQ3 双类感知对比学习机制在多大程度上能提升特征空间中本地与全局类分布之间的对齐程度？
• RQ4 当有标签与无标签客户端比例变化，尤其是有标签数据极度稀缺时，DCCFSSL的性能如何变化？
• RQ5 当仅有10%客户端为有标签时，DCCFSSL是否能超越标准联邦监督学习方法，同时保持鲁棒性与泛化能力？

主要发现

• 在IID设置下，CIFAR-10数据集上DCCFSSL在仅10%有标签客户端和90%无标签客户端时达到88.47%的准确率，比使用全部有标签客户端的FedAvg高出2.92%。
• 在CIFAR-100数据集上，DCCFSSL仅使用10%有标签客户端即达到88.36%的准确率，较标准联邦监督学习高出11.64%。
• 即使仅有一个有标签客户端，DCCFSSL在CIFAR-10的IID设置下仍达到75.76%的准确率，在Non-IID设置下达到54.84%，展现出在极少量有标签数据下的强大泛化能力。
• 在Non-IID设置下，当仅一个客户端有标签时，DCCFSSL相比FedAvg-SL-Lower性能提升34.81%，相比FedAvg-SL-Lower提升19.26%。
• 在所有数据集上，通信开销仅增加0.1848%至1.817%，使其在跨机柜联邦学习环境中具备实际可行性。
• DCCFSSL显著提升了训练稳定性，在所有基准测试中均获得更高的AUC与F1分数，证实了其更强的鲁棒性与一致性。