[论文解读] A Deep Learning Method for Complex Human Activity Recognition Using Virtual Wearable Sensors

Fanyi Xiao, Ling Pei+5 more|arXiv (Cornell University)|Mar 4, 2020

Context-Aware Activity Recognition Systems参考文献 18被引用 8

一句话总结

本文提出一种基于虚拟惯性测量单元（IMU）数据的深度学习方法，用于复杂人类活动识别。该虚拟IMU数据源自AMASS姿态重建数据集。通过在虚拟IMU数据上使用无监督损失进行卷积神经网络（CNN）预训练，并在小规模真实IMU数据集（DIP）上进行微调，模型在真实世界数据上实现了91.15%的准确率，展示了在极少真实数据采集情况下的有效域自适应能力。

ABSTRACT

Sensor-based human activity recognition (HAR) is now a research hotspot in multiple application areas. With the rise of smart wearable devices equipped with inertial measurement units (IMUs), researchers begin to utilize IMU data for HAR. By employing machine learning algorithms, early IMU-based research for HAR can achieve accurate classification results on traditional classical HAR datasets, containing only simple and repetitive daily activities. However, these datasets rarely display a rich diversity of information in real-scene. In this paper, we propose a novel method based on deep learning for complex HAR in the real-scene. Specially, in the off-line training stage, the AMASS dataset, containing abundant human poses and virtual IMU data, is innovatively adopted for enhancing the variety and diversity. Moreover, a deep convolutional neural network with an unsupervised penalty is proposed to automatically extract the features of AMASS and improve the robustness. In the on-line testing stage, by leveraging advantages of the transfer learning, we obtain the final result by fine-tuning the partial neural network (optimizing the parameters in the fully-connected layers) using the real IMU data. The experimental results show that the proposed method can surprisingly converge in a few iterations and achieve an accuracy of 91.15% on a real IMU dataset, demonstrating the efficiency and effectiveness of the proposed method.

研究动机与目标

• 为解决现有HAR数据集的局限性，即仅包含简单、重复的活动，且受试者多样性有限、IMU配置单一。
• 通过利用AMASS姿态重建数据集中的虚拟IMU数据，降低真实IMU数据采集的成本与复杂性。
• 通过在虚拟数据训练过程中引入无监督损失，提升模型的鲁棒性与泛化能力。
• 通过迁移学习与在小规模真实世界数据集（DIP）上的微调，弥合虚拟与真实IMU数据之间的域差距。
• 实现在涉及多运动模式的复杂真实场景下的人类活动识别的高准确率。

提出的方法

• 该方法使用AMASS数据集，其提供从3D人体动作捕捉生成的虚拟IMU数据，用于训练深度卷积神经网络（CNN），并通过无监督损失提升特征学习能力与鲁棒性。
• 无监督损失在AMASS数据上训练期间应用，以增强模型在多样化人体姿态与运动模式下的泛化能力。
• 采用迁移学习策略：预训练模型通过仅更新全连接层，在小规模真实IMU数据集（DIP）上进行微调，以适应真实传感器数据分布。
• 输入数据采用60帧（1秒，采样率60Hz）的滑动窗口处理，重叠率为50%，从佩戴于头部、左手腕和右大腿的三个IMU中提取36维特征（3D加速度与旋转矩阵）。
• 使用准确率与F1-score评估模型性能，测试在AMASS（虚拟）、DIP（真实）以及联合训练/微调设置下的表现。
• 通过混淆矩阵分析分类性能，尤其关注由多个子运动组成的复杂活动。

实验结果

研究问题

• RQ1 在大规模姿态重建数据集（AMASS）生成的虚拟IMU数据上预训练的深度学习模型，能否有效泛化到真实世界的人类活动识别任务？
• RQ2 在小规模真实IMU数据集（DIP）上进行微调，在多大程度上能缩小虚拟与真实传感器数据之间的域差距？
• RQ3 在虚拟数据训练过程中引入无监督损失，是否能提升模型在复杂多运动活动中的鲁棒性与分类准确率？
• RQ4 通过从大规模虚拟数据集迁移学习，能否在极少真实数据采集的情况下实现高准确率？
• RQ5 对于涉及多个子运动（如伸展腿部）的活动，模型表现如何，这类活动因运动变异性而具有挑战性？

主要发现

• 在DIP真实数据集上微调后，所提方法实现了91.15%的准确率，显著优于基线方法。
• 在DIP数据集上微调显著缩小了虚拟与真实IMU数据之间的性能差距，仅在AMASS上训练的模型在DIP上的准确率不足50%。
• 微调过程中模型收敛迅速，20个周期内即达到优异性能，表明在极少真实数据需求下仍具备高效适应能力。
• 混淆矩阵显示，微调显著提升了对复杂、模糊活动的分类性能，尤其针对由多个子运动构成的活动。
• 在AMASS上训练时引入无监督损失，有助于提升模型泛化能力，体现在其在AMASS与DIP上的性能均优于基线模型。
• 该方法表明，可有效利用姿态重建数据集生成的大规模虚拟IMU数据，实现真实世界HAR任务，从而降低对昂贵真实数据采集的依赖。