[论文解读] Federated Learning with Positive and Unlabeled Data

Xinyang Lin, Hanting Chen+5 more|arXiv (Cornell University)|Jun 21, 2021

Privacy-Preserving Technologies in Data参考文献 10被引用 5

一句话总结

该论文提出 FedPU，一种新颖的联邦学习框架，用于处理正样本和未标记样本（PU）数据，其中客户端仅对部分类别进行标注，导致每个客户端存在多个未知的负类别。通过利用跨客户端的已标注数据并最小化在多个负类别上的期望风险，FedPU 实现了最先进性能，在 CIFAR-10 上相比监督和半监督基线方法准确率最高提升 10.16%。

ABSTRACT

We study the problem of learning from positive and unlabeled (PU) data in the federated setting, where each client only labels a little part of their dataset due to the limitation of resources and time. Different from the settings in traditional PU learning where the negative class consists of a single class, the negative samples which cannot be identified by a client in the federated setting may come from multiple classes which are unknown to the client. Therefore, existing PU learning methods can be hardly applied in this situation. To address this problem, we propose a novel framework, namely Federated learning with Positive and Unlabeled data (FedPU), to minimize the expected risk of multiple negative classes by leveraging the labeled data in other clients. We theoretically analyze the generalization bound of the proposed FedPU. Empirical experiments show that the FedPU can achieve much better performance than conventional supervised and semi-supervised federated learning methods. Code is available at https://github.com/littleSunlxy/FedPU-torch

研究动机与目标

• 解决客户端因资源和时间限制仅能标注有限子集类别时，联邦学习面临的挑战。
• 克服现有 PU 学习方法的局限性，这些方法假设仅存在单一负类别，而本研究针对每个客户端存在多个未知负类别的场景。
• 开发一种联邦框架，有效利用未标记数据和跨客户端的已标注数据，以最小化所有类别上的期望风险。
• 理论上分析泛化边界，并在非独立同分布（non-IID）和低标注数据设置下实证验证性能提升。

提出的方法

• 提出 FedPU，一种联邦学习框架，将未标记数据视为在不同客户端间可能属于多个未知负类别。
• 利用其他客户端的已标注数据和同一客户端的未标记数据，构建多负类别上的期望风险最小化问题。
• 引入类别先验估计机制以处理未知的类别分布，并在不同先验估计下测试其鲁棒性。
• 使用模型平均和客户端级优化训练本地模型，同时最小化已标注正样本和未标记样本（可能为负）的风险。
• 理论分析表明，FedPU 的泛化性能约为完全监督模型的 $C\sqrt{C}$ 倍，其中 $C$ 为类别数。
• 使用 PyTorch 实现该方法，公开代码发布于 GitHub，确保可复现性。

实验结果

研究问题

• RQ1 当客户端仅标注部分类别且未标记数据可能属于多个未知类别时，联邦学习能否实现更优性能？
• RQ2 在部分标注和非独立同分布数据条件下，FedPU 与传统监督和半监督联邦学习方法相比表现如何？
• RQ3 类别先验估计的变化对 FedPU 性能有何影响？
• RQ4 FedPU 能否在无显式标注的情况下，有效最小化多个负类别的期望风险？
• RQ5 在真实联邦设置中，FedPU 对数据不平衡和非独立同分布数据分布的鲁棒性如何？

主要发现

• 在 MNIST 上，正类别仅标注 1/3 数据时，FedPU 达到 94.46% 准确率，标注比例提升至 2/3 时准确率提高至 95.60%。
• 在 CIFAR-10 上，使用独立同分布（iid）数据且每个客户端仅标注 2 个正类别时，FedPU 准确率达 76.71%，而仅使用已标注数据的 FedAvg 仅为 62.52%。
• 在非独立同分布设置下，客户端正类别数量从 1 到 7 不等，FedPU 准确率达 75.41%，比 Baseline-1 提升 4.00%。
• 在具有挑战性的非独立同分布数据划分下，FedPU 准确率达 61.05%，超过基线 8.66%。
• 在 CIFAR-10 上，FedPU 在半监督联邦方法中达到最先进性能，优于 FixMatch 和 FedMatch。
• 该方法对类别先验估计具有鲁棒性，性能接近已知先验情况（π=0.1），在不同先验估计下性能下降极小。