[论文解读] A Robust and Scalable Attention Guided Deep Learning Framework for Movement Quality Assessment

Aditya Kanade, Mansi Sharma+1 more|arXiv (Cornell University)|Apr 16, 2022

Stroke Rehabilitation and Recovery被引用 5

一句话总结

该论文提出了一种基于Transformer的新型深度学习框架，结合注意力引导的特征提取器和三种新型骨骼数据增强技术，实现了鲁棒且可扩展的动作质量评估。在UI-PRMD和KIMORE数据集上，相较于最先进方法，得分预测准确率分别提升了12%和21%，并通过注意力机制增强了模型的可解释性。

ABSTRACT

Physical rehabilitation programs frequently begin with a brief stay in the hospital and continue with home-based rehabilitation. Lack of feedback on exercise correctness is a significant issue in home-based rehabilitation. Automated movement quality assessment (MQA) using skeletal movement data (hereafter referred to as skeletal data) collected via depth imaging devices can assist with home-based rehabilitation by providing the necessary quantitative feedback. This paper aims to use recent advances in deep learning to address the problem of MQA. Movement quality score generation is an essential component of MQA. We propose three novel skeletal data augmentation schemes. We show that using the proposed augmentations for generating movement quality scores result in significant performance boosts over existing methods. Finally, we propose a novel transformer based architecture for MQA. Four novel feature extractors are proposed and studied that allow the transformer network to operate on skeletal data. We show that adding the attention mechanism in the design of the proposed feature extractor allows the transformer network to pay attention to specific body parts that make a significant contribution towards executing a movement. We report an improvement in movement quality score prediction of 12% on UI-PRMD dataset and 21% on KIMORE dataset compared to the existing methods.

研究动机与目标

• 为居家物理康复计划中缺乏定量反馈的问题提供解决方案。
• 通过在骨骼数据上应用深度学习，提升动作质量得分预测的准确性和鲁棒性。
• 克服先前模型的局限性，如自编码器中的过拟合问题以及LSTM模型的可扩展性差问题。
• 通过集成注意力机制，突出运动评估中关键身体部位，从而增强模型的可解释性。
• 开发可扩展且可泛化的骨骼运动序列数据增强技术。

提出的方法

• 提出了三种新颖的骨骼数据增强方案：关节掩蔽、时间节奏调节和关节位移扰动。
• 设计了一种新型去噪自编码器训练机制，利用所提出的增强方法学习更具泛化能力的潜在表征。
• 提出了四种基于CNN的新型特征提取器，用于将骨骼序列嵌入适合Transformer输入的向量表示。
• 在分层特征提取器（HFE-A）中集成注意力机制，使Transformer能够聚焦于与动作质量最相关的身体部位。
• 采用Transformer编码器架构，比LSTM更有效地建模骨骼序列中的长程时间依赖关系。
• 在Transformer中使用多头注意力机制，动态加权不同身体关节和时间窗口在得分预测中的重要性。

实验结果

研究问题

• RQ1 新颖的骨骼数据增强技术是否能提升动作质量得分生成的泛化能力和性能？
• RQ2 基于Transformer的架构是否能在动作质量评估任务中超越现有的CNN-LSTM模型？
• RQ3 在特征提取阶段集成注意力机制是否能提升模型性能和可解释性？
• RQ4 不同基于CNN的特征提取器在支持基于Transformer的骨骼数据序列建模方面表现如何比较？
• RQ5 所提出的框架在更大、更多样化的康复数据集上的可扩展性如何？

主要发现

• 在UI-PRMD数据集上，所提框架相较于当前最先进方法，动作质量得分预测准确率提升了12%。
• 在KIMORE数据集上，模型相比现有方法在得分预测准确率上提升了21%。
• 所提出的增强方案使跨被试类别中的分离度度量提升了超过18%，在同被试类别中提升了1.5%。
• HFE-A和基于MLP的特征提取器在四种提出的特征提取器中表现最佳。
• HFE-A特征提取器中的注意力机制通过突出对动作质量有贡献的关键身体部位，实现了更好的可解释性。
• 尽管对超参数更敏感，基于Transformer的架构在可扩展性和训练速度方面优于基于LSTM的模型。