[论文解读] Personalized Semi-Supervised Federated Learning for Human Activity Recognition

Riccardo Presotto, Gabriele Civitarese+1 more|arXiv (Cornell University)|Apr 15, 2021

Context-Aware Activity Recognition Systems参考文献 63被引用 16

一句话总结

FedHAR 提出了一种个性化半监督联邦学习框架，用于人体活动识别（HAR），通过结合主动学习与标签传播，最大限度减少对标注数据的需求，同时利用联邦学习保护隐私。该方法仅需少量初始标注数据集，并在长时间内进行最少的主动标注，即可实现与完全监督联邦学习方法相当的识别准确率。

ABSTRACT

One of the major open problems in sensor-based Human Activity Recognition (HAR) is the scarcity of labeled data. Among the many solutions to address this challenge, semi-supervised learning approaches represent a promising direction. However, their centralised architecture incurs in the scalability and privacy problems that arise when the process involves a large number of users. Federated Learning (FL) is a promising paradigm to address these problems. However, the FL methods that have been proposed for HAR assume that the participating users can always obtain labels to train their local models (i.e., they assume a fully supervised setting). In this work, we propose FedAR: a novel hybrid method for HAR that combines semi-supervised and federated learning to take advantage of the strengths of both approaches. FedAR combines active learning and label propagation to semi-automatically annotate the local streams of unlabeled sensor data, and it relies on FL to build a global activity model in a scalable and privacy-aware fashion. FedAR also includes a transfer learning strategy to fine-tune the global model on each user. We evaluated our method on two public datasets, showing that FedAR reaches recognition rates and personalization capabilities similar to state-of-the-art FL supervised approaches. As a major advantage, FedAR only requires a very limited number of annotated data to populate a pre-trained model and a small number of active learning questions that quickly decrease while using the system, leading to an effective and scalable solution for the data scarcity problem of HAR.

研究动机与目标

• 解决由于标注传感器数据成本高昂且存在隐私风险，导致大规模人体活动识别（HAR）中数据稀缺的挑战。
• 通过在众多用户间实现可扩展、隐私保护的模型训练，克服集中式半监督学习的局限性。
• 开发一种联邦学习框架，不假设所有客户端均拥有标注数据，从而实现在真实 HAR 场景中的部署。
• 为全局模型引入个性化机制，以提升每位用户个体的识别准确率。
• 通过使用主动学习与标签传播，实现对未标注传感器流的半自动标注，从而最小化用户标注工作量。

提出的方法

• 利用联邦学习训练全局模型，无需共享原始传感器数据，从而增强隐私保护与可扩展性。
• 采用主动学习，选择并提示用户对最具信息量的未标注数据点进行最小化标注。
• 在本地数据流上使用标签传播，通过特征空间中的相似性，将少量标注样本的标签传播至未标注数据。
• 应用迁移学习，基于用户的本地数据与活动模式，对全局模型进行个性化。
• 集成基于图的标签传播机制，保持特征向量及其关系，以高效传播标签。
• 使用安全多方计算（SMC）保护聚合过程中的模型参数，降低隐私泄露风险。

实验结果

研究问题

• RQ1 联邦学习框架在 HAR 中是否能在不强制所有客户端均具备标注数据的情况下，实现高识别准确率？
• RQ2 在联邦设置中，主动学习与标签传播的结合在多大程度上能有效减轻用户标注负担？
• RQ3 与单一全局模型相比，个性化模型在异构用户群体中能在多大程度上提升识别性能？
• RQ4 FedHAR 在准确率与标注效率方面与完全监督的联邦学习基线相比表现如何？
• RQ5 在联邦 HAR 系统中使用半监督学习时，可扩展性与隐私之间的权衡如何？

主要发现

• FedHAR 在两个公开的 HAR 数据集上实现了与最先进完全监督联邦学习方法相当的识别率。
• 该方法仅需一个小型初始标注数据集即可预训练全局模型，显著降低数据收集成本。
• 主动学习的提问数量随时间迅速减少，表明用户能够快速提供最少的标注以有效提升模型性能。
• 标签传播与主动学习的结合，使得在本地设备上对未标注传感器数据实现有效半自动标注成为可能。
• 通过迁移学习实现的个性化显著提升了每位用户的识别准确率，尤其在用户间活动执行存在差异的情况下效果更明显。
• 该框架具备可扩展性与隐私保护性，原始数据始终保留在设备上，仅共享模型参数，且使用 SMC 保护聚合过程。