[论文解读] Lightweight Transformer in Federated Setting for Human Activity Recognition

Ali Raza, Kim Phuc Tran+4 more|arXiv (Cornell University)|Oct 1, 2021

Context-Aware Activity Recognition Systems被引用 4

一句话总结

本文提出了一种轻量级单块输入Transformer模型TransFed，用于在家庭医疗保健中进行人体活动识别（HAR），通过联邦学习提升隐私保护。在新收集的数据集上，集中式训练达到99.14%的准确率，联邦学习设置下达到98.74%，优于当前最先进的CNN和RNN方法，同时显著降低计算成本。

ABSTRACT

Human activity recognition (HAR) is a machine learning task with important applications in healthcare especially in the context of home care of patients and older adults. HAR is often based on data collected from smart sensors, particularly smart home IoT devices such as smartphones, wearables and other body sensors. Deep learning techniques like convolutional neural networks (CNNs) and recurrent neural networks (RNNs) have been used for HAR, both in centralized and federated settings. However, these techniques have certain limitations: RNNs cannot be easily parallelized, CNNs have the limitation of sequence length, and both are computationally expensive. Moreover, in home healthcare applications the centralized approach can raise serious privacy concerns since the sensors used by a HAR classifier collect a lot of highly personal and sensitive data about people in the home. In this paper, to address some of such challenges facing HAR, we propose a novel lightweight (one-patch) transformer, which can combine the advantages of RNNs and CNNs without their major limitations, and also TransFed, a more privacy-friendly, federated learning-based HAR classifier using our proposed lightweight transformer. We designed a testbed to construct a new HAR dataset from five recruited human participants, and used the new dataset to evaluate the performance of the proposed HAR classifier in both federated and centralized settings. Additionally, we use another public dataset to evaluate the performance of the proposed HAR classifier in centralized setting to compare it with existing HAR classifiers. The experimental results showed that our proposed new solution outperformed state-of-the-art HAR classifiers based on CNNs and RNNs, whiling being more computationally efficient.

研究动机与目标

• 通过用联邦学习替代集中式数据收集，解决家庭医疗保健中的隐私问题。
• 通过一种新颖的轻量级Transformer架构，克服RNN（并行化能力差）和CNN（序列长度限制）在HAR中的局限性。
• 开发一种计算高效的HAR模型，在不依赖大规模集中化数据的前提下保持高准确率。
• 从五名参与者在模拟家庭环境中执行15项活动的数据中，构建一个新的公开发布HAR数据集。
• 在典型真实联邦学习环境中常见的非独立同分布（non-IID）数据分布下，评估模型的鲁棒性。

提出的方法

• 提出一种单块输入的轻量级Transformer架构，通过仅处理输入序列的一个片段来减少参数量和计算量。
• 设计TransFed，一种集成轻量级Transformer用于HAR的联邦学习框架，实现在不共享原始传感器数据的前提下，跨去中心化设备进行模型训练。
• 搭建一个测试平台，使用安装在身体不同位置的加速度计、陀螺仪和磁力计，识别最大冲击点（PMIs），以实现最优数据采集。
• 在联邦训练中采用非独立同分布（non-IID）数据分布，以模拟真实客户端数据偏移，并评估模型泛化能力。
• 应用标准联邦平均（FedAvg）结合FedProx，以在非独立同分布条件下提升收敛稳定性。
• 在新收集的数据集和公开的WISDM数据集上训练并评估模型，以实现性能的交叉验证。

实验结果

研究问题

• RQ1 轻量级单块Transformer能否在计算效率更高的前提下，实现比当前最先进的CNN和RNN模型更高的HAR准确率？
• RQ2 在具有非独立同分布（non-IID）数据分布的联邦学习环境中，所提出的TransFed框架表现如何？
• RQ3 传感器位置（如手腕、胸部、大腿）对HAR性能有何影响？哪些位置能提供最具信息量的信号？
• RQ4 在参与者数量有限且数据分布多样的真实家庭医疗保健场景中，该方法能否保持高准确率和隐私保护？
• RQ5 在公开数据集和新收集数据集上评估时，该模型的性能与现有HAR方法相比如何？

主要发现

• 所提出的轻量级Transformer在新收集数据集的集中式训练中达到99.14%的准确率，优于现有的基于CNN和RNN的方法。
• 在联邦学习设置下，该模型在同一数据集上达到98.74%的准确率，表明其在去中心化、非独立同分布数据条件下仍具有强大性能。
• 在WISDM公开数据集上，模型在集中式评估中达到98.89%的准确率，优于先前的最先进方法。
• 由于其单块架构，该模型展现出卓越的计算效率，相比标准Transformer显著减少了参数量和推理成本。
• 传感器位置显著影响性能，已识别出各类传感器的最优位置（PMIs），从而提升了数据质量和分类准确率。
• 该框架对非独立同分布数据表现出鲁棒性，尽管性能因客户端数据分布不同而有所差异，凸显了在实际部署中采用自适应聚合策略的必要性。