[논문 리뷰] A deep learning framework for assessment of quality of rehabilitation exercises

Yun Liao, Aleksandar Vakanski외 1명|arXiv (Cornell University)|2019. 01. 29.

Stroke Rehabilitation and Recovery인용 수 3

한 줄 요약

이 논문은 운동 데이터를 사용하여 재활 운동 품질을 자동 평가하기 위한 새로운 딥러닝 프레임워크를 제안한다. 저차원 표현을 위한 딥 오토인코더, 성능 지표를 위한 가우시안 믹스처 모델, 시간 피라미드를 갖춘 시공간 신경망을 결합하여, 10개의 운동으로 구성된 데이터셋에서 이 작업을 위한 최초의 엔드 투 엔드 딥러닝 접근법을 달성한다.

ABSTRACT

Computer-aided assessment of physical rehabilitation entails evaluation of patient performance in completing prescribed rehabilitation exercises, based on processing movement data captured with a sensory system. Despite the essential role of rehabilitation assessment toward improved patient outcomes and reduced healthcare costs, existing approaches lack versatility, robustness, and practical relevance. In this paper, we propose a deep learning-based framework for automated assessment of the quality of physical rehabilitation exercises. The main components of the framework are metrics for quantifying movement performance, scoring functions for mapping the performance metrics into numerical scores of movement quality, and deep neural network models for generating quality scores of input movements via supervised learning. The proposed performance metric is defined based on the log-likelihood of a Gaussian mixture model, and encodes low-dimensional data representation obtained with a deep autoencoder network. The proposed deep spatio-temporal neural network arranges data into temporal pyramids, and exploits the spatial characteristics of human movements by using sub-networks to process joint displacements of individual body parts. The presented framework is validated using a dataset of ten rehabilitation exercises. The significance of this work is that it is the first that implements deep neural networks for assessment of rehabilitation performance.

연구 동기 및 목표

• 자동화된 신체 재활 평가를 위한 유연하고 견고하며 실용적인 솔루션이 부족한 문제를 해결하기 위해.
• 운동 데이터를 품질 점수로 매핑하는 통합된 딥러닝 프레임워크를 개발하기 위해.
• 객관적이고 데이터 기반의 성능 평가를 통해 환자 결과를 향상시키고 의료비를 절감하기 위해.
• 임상 및 가정 환경에서 자동 평가 시스템의 실용적 구현을 가능하게 하기 위해.
• 실세계 운동 데이터를 사용한 재활 성능 평가 분야에서 딥러닝의 기준을 설정하기 위해.

제안 방법

• 프레임워크는 원시 운동 데이터로부터 저차원 표현을 학습하기 위해 딥 오토인코더를 사용한다.
• 성능 지표는 인코딩된 표현에 피팅된 가우시안 믹스처 모델의 로그우도에서 유도된다.
• 딥 시공간 신경망은 시간적 시퀀스를 계층적인 시간 피라미드로 조직하여 처리한다.
• 개별 신체 부위의 관절 이동 거리 데이터에 하위 네트워크를 적용하여 인간 운동의 공간적 구조를 활용한다.
• 스코링 함수는 지도 학습을 통해 성능 지표를 수치적 품질 점수로 매핑한다.
• 전체 시스템은 입력 운동 시퀀스로부터 품질 점수를 예측하기 위해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 원시 운동 데이터를 사용하여 재활 운동의 품질을 효과적으로 평가할 수 있는가?
• RQ2 시간 피라미드를 갖춘 시공간 신경망은 운동 품질 스코링 성능을 어떻게 향상시키는가?
• RQ3 오토인코더 기반 표현과 가우시안 믹스처 모델은 얼마나 의미 있는 성능 지표를 포괄할 수 있는가?
• RQ4 기존의 딥러닝 기반 접근법과 비교하여 제안된 프레임워크는 운동 품질 평가에서 어떤 성능을 보이는가?
• RQ5 다양한 운동 패턴을 가진 다양한 재활 운동에 대해 프레임워크는 일반화 가능한가?

주요 결과

• 제안된 프레임워크는 실세계 데이터를 사용하여 재활 운동 품질 평가를 위한 최초의 엔드 투 엔드 딥러닝 기반 평가를 달성한다.
• 오토인코더와 가우시안 믹스처 모델의 통합은 운동 성능의 효과적이고 저차원 표현을 가능하게 한다.
• 시간 피라미드를 갖춘 시공간 신경망은 인간 운동의 복잡한 시간 동적 특성을 더 잘 모델링한다.
• 평가 데이터셋에서 10개의 서로 다른 재활 운동에 대해 프레임워크는 견고한 성능을 보였다.
• 개별 신체 부위에 대한 하위 네트워크의 사용은 공간적 특징 학습을 향상시키고 스코링 정확도를 높인다.
• 이 연구는 자동 재활 평가를 위한 기초적인 딥러닝 접근법을 수립하여 분야 내 새로운 기준을 설정한다.