[论文解读] Federated and continual learning for classification tasks in a society of devices

Fernando E. Casado, Dylan Lema+3 more|arXiv (Cornell University)|Jun 12, 2020

Data Stream Mining Techniques参考文献 28被引用 6

一句话总结

该论文提出 LFedCon2，一种轻量级联邦持续学习框架，使资源受限设备（如智能手机）能够在本地实时、持续地执行分类任务，同时协同提升云端的全局模型。通过结合本地模型训练、半监督标签分配与自适应全局共识机制，LFedCon2 在存在噪声数据和概念漂移的情况下，实现了高达 86.32% 的平衡准确率，适用于行走识别任务。

ABSTRACT

Today we live in a context in which devices are increasingly interconnected and sensorized and are almost ubiquitous. Deep learning has become in recent years a popular way to extract knowledge from the huge amount of data that these devices are able to collect. Nevertheless, centralized state-of-the-art learning methods have a number of drawbacks when facing real distributed problems, in which the available information is usually private, partial, biased and evolving over time. Federated learning is a popular framework that allows multiple distributed devices to train models remotely, collaboratively, and preserving data privacy. However, the current proposals in federated learning focus on deep architectures that in many cases are not feasible to implement in non-dedicated devices such as smartphones. Also, little research has been done regarding the scenario where data distribution changes over time in unforeseen ways, causing what is known as concept drift. Therefore, in this work we want to present Light Federated and Continual Consensus (LFedCon2), a new federated and continual architecture that uses light, traditional learners. Our method allows powerless devices (such as smartphones or robots) to learn in real time, locally, continuously, autonomously and from users, but also improving models globally, in the cloud, combining what is learned locally, in the devices. In order to test our proposal, we have applied it in a heterogeneous community of smartphone users to solve the problem of walking recognition. The results show the advantages that LFedCon2 provides with respect to other state-of-the-art methods.

研究动机与目标

• 解决集中式深度学习在数据私密、部分且持续演化的分布式传感器环境中的局限性。
• 通过在边缘设备上实现去中心化、隐私保护的模型训练，克服以云为中心学习的可扩展性与隐私问题。
• 为联邦设置下的持续学习开发实用解决方案，应对数据分布随时间意外变化（概念漂移）的挑战。
• 使低资源设备（如智能手机和机器人）能够无需依赖复杂的深度神经网络，实现实时、自主、持续的学习。
• 通过融合本地洞察与全局共识的混合本地-全局学习循环，提升模型性能。

提出的方法

• 在每个设备上使用流式、部分标注的数据，本地训练轻量级传统分类器（如 RBF SVM、随机森林、XGBoost）。
• 利用云端的全局模型对本地设备上的未标注数据进行半监督标签分配，以提升本地模型的准确率。
• 实施本地漂移检测机制，识别数据分布的变化，并触发自适应再训练或模型更新。
• 在云端定期聚合本地模型，通过全局共识机制形成稳健且更新后的全局模型。
• 在云端采用多模型集成策略，结合多个本地模型的预测结果，以提升泛化能力与鲁棒性。
• 根据性能与可靠性动态选择并更新本地模型，确保仅高质量模型参与全局集成。

实验结果

研究问题

• RQ1 基于轻量级非深度学习模型的联邦学习系统，能否在现实世界的边缘分类任务中实现高性能？
• RQ2 混合本地-全局学习框架在边缘设备上处理持续演化的数据流中的概念漂移时，效率如何？
• RQ3 利用全局模型进行半监督标签分配，在低数据量和噪声数据场景下，对提升本地模型准确率有多大帮助？
• RQ4 当部分本地设备提供错误标注或噪声数据时，系统如何保持鲁棒性？
• RQ5 本地集成规模（$M_l$）与全局聚合频率对漂移条件下收敛速度与模型稳定性有何影响？

主要发现

• 当 8 位用户中有 4 位提供错误标注数据时，LFedCon2 使用 RBF SVM 作为基础分类器，实现了 86.32% 的平衡准确率，显著优于独立运行的分类器（59.43%）。
• 在 t=2500 时引入概念漂移（类别标签反转），系统在数千次迭代内迅速恢复并收敛至高性能，展现出强大的适应能力。
• 利用全局模型反馈进行半监督标签分配，显著提升了所有基础分类器的本地模型性能，其中 RBF SVM 的提升最为显著（从 59.43% 提升至 86.32% 的平衡准确率）。
• 即使在噪声数据条件下，系统仍保持高敏感性（最高达 0.9940）与高特异性（最高达 0.9029），表明其具备强鲁棒性。
• 全局模型纠正本地标签错误并适应漂移的能力，是维持性能的关键因素，尤其在本地数据存在偏差或不完整时更为重要。
• 减小本地集成规模（$M_l$）可加速应对剧烈漂移的适应过程，表明系统在速度与稳定性之间存在可调节的权衡。