[论文解读] Leveraging Activity Recognition to Enable Protective Behavior Detection in Continuous Data

Chongyang Wang, Yuan Gao+4 more|arXiv (Cornell University)|Nov 3, 2020

Context-Aware Activity Recognition Systems参考文献 78被引用 4

一句话总结

本文提出了一种分层HAR-PBD框架，整合图卷积网络与LSTM网络（GC-LSTM），并采用类别平衡的焦点分类交叉熵损失，以实现在慢性疼痛患者连续真实世界活动数据中准确检测保护性行为（PBD）。该方法在宏F1分数上达到0.81，PR-AUC为0.60，显著优于基线方法。

ABSTRACT

Protective behavior exhibited by people with chronic pain (CP) during physical activities is the key to understanding their physical and emotional states. Existing automatic protective behavior detection (PBD) methods rely on pre-segmentation of activities predefined by users. However, in real life, people perform activities casually. Therefore, where those activities present difficulties for people with chronic pain, technology-enabled support should be delivered continuously and automatically adapted to activity type and occurrence of protective behavior. Hence, to facilitate ubiquitous CP management, it becomes critical to enable accurate PBD over continuous data. In this paper, we propose to integrate human activity recognition (HAR) with PBD via a novel hierarchical HAR-PBD architecture comprising graph-convolution and long short-term memory (GC-LSTM) networks, and alleviate class imbalances using a class-balanced focal categorical-cross-entropy (CFCC) loss. Through in-depth evaluation of the approach using a CP patients' dataset, we show that the leveraging of HAR, GC-LSTM networks, and CFCC loss leads to clear increase in PBD performance against the baseline (macro F1 score of 0.81 vs. 0.66 and precision-recall area-under-the-curve (PR-AUC) of 0.60 vs. 0.44). We conclude by discussing possible use cases of the hierarchical architecture in CP management and beyond. We also discuss current limitations and ways forward.

研究动机与目标

• 实现实时、自动检测慢性疼痛患者在连续非分割物理活动中的保护性行为。
• 克服现有PBD方法依赖预定义活动片段和用户标注的局限性。
• 开发一种统一框架，联合识别活动并检测流式数据中的保护性行为。
• 解决保护性行为数据中类别不平衡的问题，该问题常导致对罕见但临床相关行为的模型性能不佳。
• 通过自动化的、上下文感知的行为检测，支持连续、自适应的临床监测与个性化疼痛管理。

提出的方法

• 所提出的HAR-PBD架构采用GC-LSTM网络，对传感器数据中的时序与空间依赖性进行建模，实现活动识别与保护性行为检测的联合处理。
• 图卷积层用于捕捉可穿戴传感器节点之间的关系，提升空间特征表示能力。
• 分层设计使活动识别能够为保护性行为检测提供信息并加以优化，实现按活动类型自适应调整检测逻辑。
• 引入类别平衡的焦点分类交叉熵（CFCC）损失，以减轻类别不平衡的影响，集中训练于难以分类的样本。
• 模型在可穿戴传感器的连续时间序列数据上进行端到端训练，实现无需人工分割的实时推理。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效检测慢性疼痛患者连续非分割物理活动数据中的保护性行为？
• RQ2 将人体活动识别（HAR）与保护性行为检测（PBD）相结合，相较于独立的PBD模型，能否显著提升检测准确率？
• RQ3 CFCC损失在多大程度上缓解了保护性行为数据集中因类别不平衡导致的性能下降？
• RQ4 GC-LSTM架构如何通过提升传感器信号的时序与空间建模能力，改善PBD性能？
• RQ5 所提出的框架在连续自适应慢性疼痛管理中的实际应用可行性如何？

主要发现

• 采用CFCC损失的GC-LSTM模型在宏F1分数上达到0.81，相较于基线模型（0.66）相对提升了22.7%。
• PR-AUC达到0.60，优于基线的0.44，表明在罕见保护性行为实例上表现更优。
• 将HAR与PBD结合显著提升了检测准确率，通过实现活动感知的行为建模。
• CFCC损失有效降低了类别不平衡的负面影响，尤其提升了代表性不足的保护性行为类别的召回率。
• 分层架构在多样化活动中表现出稳健性能，证明了其在慢性疼痛管理中连续实际监测的可行性。