[论文解读] Learning Bodily and Temporal Attention in Protective Movement Behavior Detection

Chongyang Wang, Min Peng+4 more|arXiv (Cornell University)|Apr 24, 2019

Emotion and Mood Recognition参考文献 37被引用 6

一句话总结

本文提出BodyAttentionNet（BANet），一种端到端深度学习模型，通过联合学习身体部位与时间上的注意力机制，提升对慢性疼痛个体保护性动作行为的检测性能。通过聚焦运动捕捉数据中最具信息量的身体部位和时间片段，BANet在显著减少参数量的同时，实现了当前最优的性能表现。

ABSTRACT

For people with chronic pain, the assessment of protective behavior during physical functioning is essential to understand their subjective pain-related experiences (e.g., fear and anxiety toward pain and injury) and how they deal with such experiences (avoidance or reliance on specific body joints), with the ultimate goal of guiding intervention. Advances in deep learning (DL) can enable the development of such intervention. Using the EmoPain MoCap dataset, we investigate how attention-based DL architectures can be used to improve the detection of protective behavior by capturing the most informative temporal and body configurational cues characterizing specific movements and the strategies used to perform them. We propose an end-to-end deep learning architecture named BodyAttentionNet (BANet). BANet is designed to learn temporal and bodily parts that are more informative to the detection of protective behavior. The approach addresses the variety of ways people execute a movement (including healthy people) independently of the type of movement analyzed. Through extensive comparison experiments with other state-of-the-art machine learning techniques used with motion capture data, we show statistically significant improvements achieved by using these attention mechanisms. In addition, the BANet architecture requires a much lower number of parameters than the state of the art for comparable if not higher performances.

研究动机与目标

• 利用深度学习提升对慢性疼痛个体保护性动作行为的检测能力。
• 建模空间（身体部位）与时间（时间片段）注意力，以识别运动数据中最具信息量的线索。
• 开发一种轻量化架构，在参数数量上显著少于现有最先进模型的同时，实现高性能表现。
• 实现对疼痛相关行为（如回避与关节依赖）更可解释且个性化的评估。
• 在EmoPain MoCap数据集上评估模型，该数据集捕捉了健康人群与慢性疼痛人群在多样化运动执行策略下的表现。

提出的方法

• BANet采用双分支注意力机制：一个用于身体关节的空间注意力，另一个用于运动序列中时间步长的时间注意力。
• 模型使用1D-CNN主干网络处理3D运动捕捉序列，以提取时空特征，随后应用注意力模块。
• 空间注意力应用于单个身体关节，以加权其在预测保护性行为中的重要性。
• 时间注意力应用于时间步长，以识别保护性策略浮现的关键运动阶段。
• 注意力权重通过反向传播端到端学习，使网络能够聚焦于相关身体部位与时间区间。
• 最终预测通过分类头对注意力加权后的特征进行，损失函数采用交叉熵进行优化。

实验结果

研究问题

• RQ1 联合空间与时间注意力是否能提升运动捕捉数据中保护性动作行为的检测性能？
• RQ2 注意力机制如何帮助识别运动执行过程中最具信息量的身体部位与时间片段？
• RQ3 所提出的BANet架构是否在参数量更少的情况下，仍能实现优于现有最先进模型的性能表现？
• RQ4 该模型在不同运动类型与个体执行策略之间具有多大程度的泛化能力？
• RQ5 注意力机制是否能为回避或关节依赖等疼痛相关行为提供可解释的洞察？

主要发现

• BANet在EmoPain MoCap数据集上，相较于多种最先进机器学习模型，保护性行为检测准确率实现了统计上显著的提升。
• 该模型在参数量显著低于现有最先进架构的同时，表现出更优的性能，表明其具有高度效率。
• 注意力可视化显示，模型始终聚焦于临床相关的身体部位（如腰椎、膝盖）以及与保护性策略相关的关键运动阶段。
• 联合注意力机制优于仅使用空间或时间注意力的模型，证实了同时建模两个维度的优势。
• 该模型在不同运动类型与个体运动策略之间均表现出良好的泛化能力，且不依赖于具体执行任务。
• 代码与训练好的模型已公开发布，支持可复现性，并推动疼痛行为分析领域的进一步研究。