[论文解读] FedSemi: An Adaptive Federated Semi-Supervised Learning Framework.

Zewei Long, Liwei Che+6 more|arXiv (Cornell University)|Dec 6, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用 14

一句话总结

FedSemi 提出了一种自适应联邦半监督学习框架，通过教师-学生模型引入一致性正则化，以在联邦学习中有效利用未标记数据。通过引入逐层差异度量，动态选择上传的模型参数，在独立同分布（IID）和非独立同分布（Non-IID）设置下，其性能优于最先进基线方法。

ABSTRACT

Federated learning (FL) has emerged as an effective technique to co-training machine learning models without actually sharing data and leaking privacy. However, most existing FL methods focus on the supervised setting and ignore the utilization of unlabeled data. Although there are a few existing studies trying to incorporate unlabeled data into FL, they all fail to maintain performance guarantees or generalization ability in various settings. In this paper, we tackle the federated semi-supervised learning problem from the insight of data regularization and analyze the new-raised difficulties. We propose FedSemi, a novel, adaptive, and general framework, which firstly introduces the consistency regularization into FL using a teacher-student model. We further propose a new metric to measure the divergence of local model layers. Based on the divergence, FedSemi can automatically select layer-level parameters to be uploaded to the server in an adaptive manner. Through extensive experimental validation of our method in four datasets, we show that our method achieves performance gain under the IID setting and three Non-IID settings compared to state-of-the-art baselines.

研究动机与目标

• 弥合现有联邦学习框架在无法有效利用未标记数据的同时仍保持性能保证的空白。
• 克服现有半监督联邦学习方法在多样化数据分布设置下泛化能力不足的局限。
• 开发一种自适应机制，根据本地模型差异选择上传的模型层，以提升通信效率与模型准确率。
• 确保在现实联邦学习中常见的独立同分布（IID）与非独立同分布（Non-IID）数据设置下均具备鲁棒性能。
• 提出一种新颖的层级别差异度量，以指导自适应参数选择，从而在无需手动调参的情况下增强模型泛化能力。

提出的方法

• 在联邦学习中采用教师-学生蒸馏框架，其中学生模型在有标签数据上进行训练，教师模型为未标记数据提供伪标签。
• 通过强制同一输入在原始视图与增强视图下学生模型输出的一致性，应用一致性正则化。
• 引入一种新颖的差异度量，以量化本地学生模型与教师模型对应层之间的差异。
• 利用逐层差异度量动态选择上传至服务器的层，优先上传差异较大的层，以提升知识迁移效果。
• 采用加权聚合策略训练全局模型，突出贡献度较高的客户端（即差异较大的客户端），以促进多样性与鲁棒性。
• 将自适应上传机制集成至标准联邦学习训练流程中，实现与现有联邦优化算法的无缝集成。

实验结果

研究问题

• RQ1 如何有效将一致性正则化整合到联邦半监督学习中，以提升模型泛化能力？
• RQ2 在联邦设置下，何种可靠且自适应的度量可指导选择上传哪些模型层？
• RQ3 自适应层选择机制是否能在独立同分布（IID）与非独立同分布（Non-IID）数据分布设置下均提升性能？
• RQ4 FedSemi 在不同数据偏移情况下的准确率与鲁棒性相较于最先进基线方法表现如何？
• RQ5 所提出的基于差异的选层策略是否能在不增加通信开销的前提下增强模型泛化能力？

主要发现

• FedSemi 在四种基准数据集上，于独立同分布（IID）与三种非独立同分布（Non-IID）数据分布设置下，持续优于最先进基线方法。
• 结合教师-学生框架的一致性正则化显著提升了模型准确率，有效利用了联邦环境中的未标记数据。
• 所提出的逐层差异度量成功识别出适合上传的信息性模型层，实现了自适应通信，从而增强了模型泛化能力。
• 自适应参数选择机制通过聚焦于高差异层，减少了不必要的通信，提升了训练效率且未牺牲性能。
• FedSemi 即使在严重数据偏移条件下仍保持强大的泛化能力，在非独立同分布场景下优于现有方法。
• 实证结果表明，FedSemi 在测试准确率上优于基线方法，尤其在标签数据较少的场景下表现更优，验证了其在半监督联邦学习中的有效性。