[论文解读] CHARM: A Hierarchical Deep Learning Model for Classification of Complex Human Activities Using Motion Sensors

Eric Rosen, Doruk Senkal|arXiv (Cornell University)|Jul 16, 2022

Context-Aware Activity Recognition Systems被引用 5

一句话总结

CHARM 是一种两阶段分层深度学习模型，利用可穿戴惯性测量单元（IMU）数据对复杂、高层级的人类活动（如准备餐点或家务）进行分类。它通过仅使用高层级标签进行端到端训练，在高层级活动识别任务中达到最先进性能，同时自动学习语义上有意义的低层级运动表征（例如行走、抓握、切割），而无需任何显式的低层级标注。

ABSTRACT

In this paper, we report a hierarchical deep learning model for classification of complex human activities using motion sensors. In contrast to traditional Human Activity Recognition (HAR) models used for event-based activity recognition, such as step counting, fall detection, and gesture identification, this new deep learning model, which we refer to as CHARM (Complex Human Activity Recognition Model), is aimed for recognition of high-level human activities that are composed of multiple different low-level activities in a non-deterministic sequence, such as meal preparation, house chores, and daily routines. CHARM not only quantitatively outperforms state-of-the-art supervised learning approaches for high-level activity recognition in terms of average accuracy and F1 scores, but also automatically learns to recognize low-level activities, such as manipulation gestures and locomotion modes, without any explicit labels for such activities. This opens new avenues for Human-Machine Interaction (HMI) modalities using wearable sensors, where the user can choose to associate an automated task with a high-level activity, such as controlling home automation (e.g., robotic vacuum cleaners, lights, and thermostats) or presenting contextually relevant information at the right time (e.g., reminders, status updates, and weather/news reports). In addition, the ability to learn low-level user activities when trained using only high-level activity labels may pave the way to semi-supervised learning of HAR tasks that are inherently difficult to label.

研究动机与目标

• 解决使用可穿戴传感器识别由可变序列的低层级动作组成的复杂高层级人类活动的挑战。
• 通过利用高层级活动标签实现运动模式的自监督学习，克服在真实环境中标注低层级活动的高成本与高难度。
• 支持新型人机交互（HMI）应用，如基于高层级活动检测的情境感知自动化与智能提醒。
• 探究仅通过高层级标签进行端到端训练是否能产生有意义且解耦的低层级运动行为表征。
• 证明深度神经网络可在无需对这些模式进行显式监督的情况下，学会区分语义相关的运动模式（例如操作手势、移动模式）。

提出的方法

• 提出一种两阶段神经网络架构：低层级神经编码器将 IMU 数据的短时序窗口编码为紧凑的特征向量。
• 使用高层级编码器通过分步时间采样在时间上聚合低层级编码器的输出，以对长时序活动序列进行分类。
• 仅使用高层级活动标签（例如“早晨例行事务”、“午餐”）进行端到端训练，以优化高层级分类准确率。
• 利用分层结构使低层级编码器专注于局部运动模式（秒级），而高层级编码器捕捉全局时间依赖性（分钟级）。
• 应用主成分分析（PCA）以可视化和分析学习到的低层级特征表征，提升可解释性并进行聚类分析。
• 在嵌入空间中进行定性聚类分析，以评估语义上相似的低层级活动（例如“切割”、“涂抹”）是否在无任何监督的情况下被聚类在一起。

实验结果

研究问题

• RQ1 深度学习模型是否能在不显式标注这些低层级动作的情况下，为高层级活动识别自动学习到有意义的低层级运动表征（例如行走、抓握、切割）？
• RQ2 CHARM 的分层架构是否相比传统监督 HAR 模型，在分类长时长、复杂的人类活动方面表现出更优性能？
• RQ3 CHARM 嵌入空间中学习到的低层级表征在多大程度上反映了运动模式之间的语义相似性，这可通过聚类行为来体现？
• RQ4 当仅使用高层级标签进行训练时，模型在不同高层级活动类别上的性能表现如何变化？
• RQ5 模型是否能通过在嵌入空间中聚类相似的低层级手势（例如“切割”、“涂抹”）来支持下游事件驱动 HAR 任务中的迁移学习？

主要发现

• CHARM 在 OPPORTUNITY 数据集上的高层级活动识别任务中达到最先进性能，其平均准确率和 F1 分数均优于现有监督方法。
• 低层级神经编码器在嵌入空间中自动形成不同操作手势（例如“切割”、“涂抹”、“啜饮”）的独立聚类，表明无需任何监督即可实现语义分组。
• 行走、站立、就坐和躺卧等移动行为也形成了可辨识的聚类，尽管由于传感器限制和活动序列中的语境相似性，聚类间存在较高重叠。
• 嵌入空间中聚类之间的距离与运动模式在相同高层级活动中的共现频率相关——例如，“切割”和“涂抹”距离较近，因为二者在“午餐”和“咖啡时间”中均常见。
• 即使在训练过程中未提供任何低层级标签，模型仍成功学习到将低层级运动模式表示为高层级分类的有用信号。
• 通过 PCA 进行的定性分析确认，学习到的表征具有语义意义，并反映了人类运动行为的功能相似性，支持在 HAR 中采用自监督学习的可行性。