[论文解读] Exploiting Unlabeled Data in Smart Cities using Federated Learning

Abdullatif Albaseer, Bekir Sait Çiftler+2 more|arXiv (Cornell University)|Jan 10, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用 13

一句话总结

本文提出 FedSem，一种半监督联邦边缘学习框架，通过利用智慧城市中的未标记数据，在保护用户隐私的同时提升模型准确率。该方法首先在标记数据上训练全局模型，然后在第二阶段注入伪标记的未标记数据，相比仅使用标记数据，FedSem 的准确率最高可提升 8%，即使在标记数据有限的情况下也展现出显著的性能提升。

ABSTRACT

Privacy concerns are considered one of the main challenges in smart cities as sharing sensitive data brings threatening problems to people's lives. Federated learning has emerged as an effective technique to avoid privacy infringement as well as increase the utilization of the data. However, there is a scarcity in the amount of labeled data and an abundance of unlabeled data collected in smart cities, hence there is a need to use semi-supervised learning. We propose a semi-supervised federated learning method called FedSem that exploits unlabeled data. The algorithm is divided into two phases where the first phase trains a global model based on the labeled data. In the second phase, we use semi-supervised learning based on the pseudo labeling technique to improve the model. We conducted several experiments using traffic signs dataset to show that FedSem can improve accuracy up to 8% by utilizing the unlabeled data in the learning process.

研究动机与目标

• 解决智慧城市应用中标记数据稀缺而未标记数据丰富的挑战。
• 通过避免集中式数据收集，在边缘网络中实现隐私保护的模型训练。
• 开发一种联邦学习框架，通过半监督技术有效利用未标记数据。
• 在不同数据异构性和标记比例条件下，评估所提方法的性能。

提出的方法

• FedSem 框架分为两个阶段：第一阶段通过联邦学习仅使用标记数据训练全局模型。
• 在第二阶段，通过伪标记技术将未标记数据纳入训练，即利用第一阶段的模型对未标记样本进行预测。
• 随后，将伪标记样本用于微调全局模型，以提升泛化能力和性能。
• 该方法采用标准的深度学习架构，包含三个卷积层和一个全连接层用于分类任务。
• 客户端以轮询方式参与，模型更新由中心节点聚合形成全局模型。
• 系统采用固定的初始学习率和批量大小，通过多轮次和多周期的超参数调优，评估收敛性和准确率。

实验结果

研究问题

• RQ1 联邦学习能否在边缘网络中有效扩展至半监督设置，以利用丰富的未标记数据？
• RQ2 在隐私保护的联邦学习设置下，伪标记数据的引入如何影响模型准确率？
• RQ3 在智慧城市应用中，为最大化性能，标记数据比例与未标记数据利用之间的最优平衡是什么？
• RQ4 数据异构性如何影响边缘环境中半监督联邦学习的性能？

主要发现

• 当在训练过程中引入未标记数据时，FedSem 可将模型准确率最高提升 8%。
• 即使仅使用 10% 的标记数据，FedSem 在注入未标记数据后仍可实现 7% 的准确率提升。
• 增加本地训练轮次可提高测试准确率，表明超参数调优对收敛至关重要。
• 该方法可稳定训练过程并增强模型鲁棒性，训练曲线显示准确率持续提升且损失波动减少。
• 在不同标记数据比例（20%、30%、50%）下，性能增益保持一致，证明了该方法的可扩展性。
• 伪标记技术显著提升了模型性能，尤其在标记数据稀缺时效果更明显，证实了未标记数据在半监督联邦学习中的价值。