[论文解读] Federated Learning without Full Labels: A Survey

Yilun Jin, Yang Liu+2 more|arXiv (Cornell University)|Mar 25, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本综述探讨了在缺乏完整标签的情况下联邦学习（FL）的场景，即参与者持有的标注数据有限或完全没有，通过整合半监督学习、自监督学习和迁移学习来利用未标注数据，同时保护隐私。它识别出关键挑战，如数据隔离、隐私泄露和数据异构性，并概述了在隐私、可解释性、公平性和领域泛化方面的未来研究方向。

ABSTRACT

Data privacy has become an increasingly important concern in real-world big data applications such as machine learning. To address the problem, federated learning (FL) has been a promising solution to building effective machine learning models from decentralized and private data. Existing federated learning algorithms mainly tackle the supervised learning problem, where data are assumed to be fully labeled. However, in practice, fully labeled data is often hard to obtain, as the participants may not have sufficient domain expertise, or they lack the motivation and tools to label data. Therefore, the problem of federated learning without full labels is important in real-world FL applications. In this paper, we discuss how the problem can be solved with machine learning techniques that leverage unlabeled data. We present a survey of methods that combine FL with semi-supervised learning, self-supervised learning, and transfer learning methods. We also summarize the datasets used to evaluate FL methods without full labels. Finally, we highlight future directions in the context of FL without full labels.

研究动机与目标

• 为解决联邦学习中因标注成本高昂或领域专业知识限制，参与者常缺乏完整标签这一研究空白。
• 综述结合联邦学习与半监督、自监督及迁移学习的技术，以有效利用未标注数据。
• 分析在无完整标签联邦学习中，因数据隔离、标签交换带来的隐私风险以及数据异构性等挑战。
• 识别在隐私、可解释性、公平性及对未见领域泛化方面，标注数据有限的联邦学习中的开放性问题。
• 通过提出自动联邦学习、领域泛化和标签稀缺下的鲁棒性等关键研究方向，为未来研究提供指导。

提出的方法

• 整合半监督学习，利用客户端有限的标注数据和丰富的未标注数据，提升模型准确率。
• 应用自监督学习从未标注数据中预训练表示，随后在联邦学习中使用极少标注数据进行微调。
• 采用迁移学习，将来自数据丰富的源领域模型迁移到联邦学习设置中数据稀缺的目标领域。
• 提出知识蒸馏与对比学习技术，在不共享数据的前提下，实现标注与未标注客户端之间的知识对齐。
• 利用解耦表示学习，通过将特征结构化为语义有意义的组件，提升模型可解释性。
• 通过最小化标签暴露并利用未标注数据，降低对标注数据交换的依赖，从而缓解隐私风险。

实验结果

研究问题

• RQ1 当客户端的标注数据稀缺或不可用时，联邦学习如何有效利用未标注数据？
• RQ2 在去中心化环境中，将联邦学习与半监督、自监督及迁移学习结合的关键挑战是什么？
• RQ3 在标注数据有限且被反复访问的情况下，如何保护隐私？
• RQ4 解耦表示是否能提升在异构、未标注数据上训练的联邦模型的可解释性？
• RQ5 当测试时目标领域无任何标注数据，联邦学习模型如何实现对完全未见领域的泛化？

主要发现

• 当标注数据稀缺时，未标注数据能显著提升联邦学习中的模型性能，尤其在结合自监督或半监督预训练时效果更佳。
• 数据隔离（即客户端仅持有未标注数据）会因标注知识的遗忘而降低性能，需借助知识蒸馏或对比学习来弥合差距。
• 对标注数据的重复访问会增加隐私风险，如梯度反演攻击，因此未标注数据成为知识聚合的更安全选择。
• 利用未标注数据可实现更紧致的差分隐私边界，如PATE所示，从而在提升隐私保护的同时增强模型准确率。
• 从未标注数据中学习解耦表示可增强模型可解释性，但其在异构数据分布下的稳定性仍是挑战。
• 在目标领域无任何标注数据的情况下，联邦学习模型对未见领域的泛化仍具挑战，凸显了在标签稀缺条件下开展联邦领域泛化的迫切需求。