[论文解读] FedIL: Federated Incremental Learning from Decentralized Unlabeled Data with Convergence Analysis

Nan Yang, Dong Yuan+3 more|arXiv (Cornell University)|Feb 23, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

FedIL 提出了一种新颖的联邦增量学习框架，用于半监督学习，利用去中心化的未标记客户端数据和少量已标记的服务器数据集。它采用增量可信度学习在客户端构建可靠的伪标签，并通过归一化余弦相似度加速收敛，通过选择与服务器模型接近的客户端权重实现。在 CIFAR-10 上实现了 61.31% 的准确率，且基于巴拿赫不动点定理提供了理论收敛保证。

ABSTRACT

Most existing federated learning methods assume that clients have fully labeled data to train on, while in reality, it is hard for the clients to get task-specific labels due to users' privacy concerns, high labeling costs, or lack of expertise. This work considers the server with a small labeled dataset and intends to use unlabeled data in multiple clients for semi-supervised learning. We propose a new framework with a generalized model, Federated Incremental Learning (FedIL), to address the problem of how to utilize labeled data in the server and unlabeled data in clients separately in the scenario of Federated Learning (FL). FedIL uses the Iterative Similarity Fusion to enforce the server-client consistency on the predictions of unlabeled data and uses incremental confidence to establish a credible pseudo-label set in each client. We show that FedIL will accelerate model convergence by Cosine Similarity with normalization, proved by Banach Fixed Point Theorem. The code is available at https://anonymous.4open.science/r/fedil.

研究动机与目标

• 解决联邦半监督学习中的挑战：由于隐私和标注成本限制，客户端仅有未标记数据，服务器仅有少量已标记数据。
• 克服因过度依赖服务器已标记数据而导致的模型过拟合，以及因客户端错误伪标签导致的错误学习。
• 通过增量可信度学习动态选择高置信度伪标签，为每个客户端建立可靠的伪标签集合，从而在客户端实现可靠的半监督训练过程。
• 通过使用归一化余弦相似度筛选与服务器模型最接近的客户端权重，确保服务器-客户端一致性并加速收敛。
• 基于权重差值作为收敛准则，为联邦半监督学习提供理论收敛分析，该分析源自巴拿赫不动点定理。

提出的方法

• 引入增量可信度学习，从客户端预测中动态选择高置信度伪标签，为每个客户端构建可信的伪标签集合。
• 使用孪生网络进行对比学习，以在训练过程中提升特征表示质量和伪标签质量。
• 在客户端训练期间通过 KL 散度损失强制实现服务器-客户端一致性，使客户端预测与服务器模型输出对齐。
• 应用归一化余弦相似度，筛选与服务器模型最相似的客户端模型权重，从而实现高效的全局聚合。
• 提出一种全局增量学习框架，以权重差值作为收敛准则，替代伪标签训练中不可靠的基于损失的度量。
• 通过巴拿赫不动点定理证明理论收敛性，表明当服务器与客户端之间权重增量差值减小时，模型实现收敛。

实验结果

研究问题

• RQ1 当客户端仅有未标记数据而服务器仅有小规模已标记数据集时，如何有效实现联邦半监督学习？
• RQ2 哪些机制可确保在无真实标签的情况下，客户端可靠地生成伪标签，从而最小化错误学习？
• RQ3 在训练过程中如何维持服务器-客户端一致性，以防止对服务器已标记数据的过拟合？
• RQ4 当损失函数因伪标签不可靠而失效时，联邦半监督学习应采用何种有效的收敛准则？
• RQ5 能否为该框架建立理论收敛保证？在何种条件下可以实现？

主要发现

• FedIL 在 CIFAR-10 上实现了 61.31% 的准确率，采用 7 次连续标注步骤和 0.95 的置信度阈值，优于基线方法。
• 消融实验表明，若移除伪标签集合或余弦相似度机制，准确率分别降至 28.59% 和 27.21%，凸显二者关键作用。
• 同时引入伪标签候选机制与相似度筛选机制后，相比基线方法，准确率提升超过 30 个百分点。
• 每轮本地训练的最优周期数为 5，因为更高的值会导致在噪声伪标签上过拟合，从而降低性能。
• 随着连续标注步骤数（k）增加，准确率在 k=8 时达到最高（62.03%），但收益递减且计算成本增加。
• 理论分析证实，当服务器与客户端之间权重增量差值减小时，模型实现收敛，该条件在巴拿赫不动点定理下构成有效的收敛准则。