[论文解读] A deep learning framework for assessment of quality of rehabilitation exercises

Yun Liao, Aleksandar Vakanski+1 more|arXiv (Cornell University)|Jan 29, 2019

Stroke Rehabilitation and Recovery被引用 3

一句话总结

本文提出了一种新颖的深度学习框架，用于使用运动数据自动评估康复训练动作的质量。该框架结合了深度自编码器以实现低维表示、高斯混合模型以生成性能度量，以及具有时间金字塔结构的时空神经网络以评分动作质量，在包含十种动作的数据集上实现了该任务的首个端到端深度学习方法。

ABSTRACT

Computer-aided assessment of physical rehabilitation entails evaluation of patient performance in completing prescribed rehabilitation exercises, based on processing movement data captured with a sensory system. Despite the essential role of rehabilitation assessment toward improved patient outcomes and reduced healthcare costs, existing approaches lack versatility, robustness, and practical relevance. In this paper, we propose a deep learning-based framework for automated assessment of the quality of physical rehabilitation exercises. The main components of the framework are metrics for quantifying movement performance, scoring functions for mapping the performance metrics into numerical scores of movement quality, and deep neural network models for generating quality scores of input movements via supervised learning. The proposed performance metric is defined based on the log-likelihood of a Gaussian mixture model, and encodes low-dimensional data representation obtained with a deep autoencoder network. The proposed deep spatio-temporal neural network arranges data into temporal pyramids, and exploits the spatial characteristics of human movements by using sub-networks to process joint displacements of individual body parts. The presented framework is validated using a dataset of ten rehabilitation exercises. The significance of this work is that it is the first that implements deep neural networks for assessment of rehabilitation performance.

研究动机与目标

• 为解决自动化物理康复评估中缺乏通用性、鲁棒性和实用性解决方案的问题。
• 开发一个统一的深度学习框架，将运动数据映射为康复训练动作的质量评分。
• 通过客观、数据驱动的性能评估，改善患者预后并降低医疗成本。
• 实现在临床和家庭环境中自动化评估系统的实际部署。
• 基于真实世界训练动作数据，建立深度学习在康复表现评估中的基准。

提出的方法

• 该框架使用深度自编码器从原始运动数据中学习低维表示。
• 性能度量通过拟合到编码表示上的高斯混合模型的对数似然值推导得出。
• 深度时空神经网络通过将数据组织为分层时间金字塔来处理时间序列。
• 对单个身体部位的关节位移数据应用子网络，以利用人体运动中的空间结构。
• 通过监督学习，将性能度量映射为数值质量评分的评分函数。
• 整个系统端到端训练，从输入运动序列预测质量评分。

实验结果

研究问题

• RQ1 深度学习模型能否有效利用原始运动数据评估康复训练动作的质量？
• RQ2 具有时间金字塔结构的时空神经网络在动作质量评分中如何提升性能？
• RQ3 基于自编码器的表示和高斯混合模型在捕捉有意义的性能度量方面能达到何种程度？
• RQ4 与现有非深度学习方法相比，所提出的框架在评估动作质量方面表现如何？
• RQ5 该框架在具有不同运动模式的多样化康复训练动作上是否具备泛化能力？

主要发现

• 所提出的框架首次实现了基于真实世界数据的端到端深度学习方法，用于评估康复训练动作质量。
• 自编码器与高斯混合模型的结合，实现了对运动表现的有效低维表示。
• 具有时间金字塔结构的时空神经网络，提升了对人类运动复杂时间动态的建模能力。
• 该框架在评估数据集中十种不同康复训练动作中表现出稳健性能。
• 对单个身体部位使用子网络，增强了空间特征学习，提高了评分准确性。
• 本研究建立了一种基础性的深度学习方法，用于自动化康复评估，为该领域设立了新的基准。