[논문 리뷰] A Robust and Scalable Attention Guided Deep Learning Framework for Movement Quality Assessment

Aditya Kanade, Mansi Sharma외 1명|arXiv (Cornell University)|2022. 04. 16.

Stroke Rehabilitation and Recovery인용 수 5

한 줄 요약

이 논문은 주목사용 유도 특징 추출기와 세 가지 새로운 뼈대 데이터 증강 기법을 갖춘 혁신적인 트랜스포머 기반 딥러닝 프레임워크를 제안한다. 이는 움직임 품질 평가의 정확성과 확장성을 높인다. UI-PRMD 및 KIMORE 데이터셋에서 각각 기존 최고 성능 기법 대비 점수 예측 정확도에서 12%와 21% 향상되었으며, 주목사용 메커니즘을 통해 해석 가능성도 향상되었다.

ABSTRACT

Physical rehabilitation programs frequently begin with a brief stay in the hospital and continue with home-based rehabilitation. Lack of feedback on exercise correctness is a significant issue in home-based rehabilitation. Automated movement quality assessment (MQA) using skeletal movement data (hereafter referred to as skeletal data) collected via depth imaging devices can assist with home-based rehabilitation by providing the necessary quantitative feedback. This paper aims to use recent advances in deep learning to address the problem of MQA. Movement quality score generation is an essential component of MQA. We propose three novel skeletal data augmentation schemes. We show that using the proposed augmentations for generating movement quality scores result in significant performance boosts over existing methods. Finally, we propose a novel transformer based architecture for MQA. Four novel feature extractors are proposed and studied that allow the transformer network to operate on skeletal data. We show that adding the attention mechanism in the design of the proposed feature extractor allows the transformer network to pay attention to specific body parts that make a significant contribution towards executing a movement. We report an improvement in movement quality score prediction of 12% on UI-PRMD dataset and 21% on KIMORE dataset compared to the existing methods.

연구 동기 및 목표

• 홈 기반 물리 치료 프로그램에서의 정량적 피드백 부족 문제를 해결하기 위해.
• 뼈대 데이터 기반 딥러닝을 통해 움직임 품질 점수 예측의 정확성과 강건성을 향상시키기 위해.
• 이전 모델의 한계, 예를 들어 오토에인코더의 과적합 및 LSTMs의 낮은 확장성 문제를 해결하기 위해.
• 움직임 평가 시 핵심 신체 부위를 강조하는 주목사용 메커니즘을 통합하여 모델의 해석 가능성 향상하기 위해.
• 뼈대 운동 시퀀스에 대해 확장 가능하고 일반화 가능한 데이터 증강 기법 개발하기 위해.

제안 방법

• 관절 마스킹, 시간적 속도 조작, 관절 이동 오차 도입의 세 가지 새로운 뼈대 데이터 증강 기법을 제안하였다.
• 제안된 증강 기법을 활용해 노이즈 제거 오토에인코더의 새로운 학습 메커니즘을 설계하여 더 일반화된 잠재 표현을 학습하도록 하였다.
• 트랜스포머 입력에 적합한 벡터 표현으로 뼈대 시퀀스를 임bedding하기 위한 네 가지 새로운 CNN 기반 특징 추출기를 도입하였다.
• 트랜스포머가 움직임 품질에 가장 관련성이 높은 신체 부위에 집중할 수 있도록 계층적 특징 추출기(HFE-A)에 주목사용 메커니즘을 통합하였다.
• LSTM보다 더 효과적으로 뼈대 시퀀스의 장거리 시간적 의존성을 모델링하기 위해 트랜스포머 인코더 아키텍처를 사용하였다.
• 점수 예측 과정에서 다양한 관절과 시간 윈도우의 중요도를 동적으로 가중하기 위해 트랜스포머에 멀티헤드 주목사용 메커니즘을 적용하였다.

실험 결과

연구 질문

• RQ1 새로운 뼈대 데이터 증강 기법이 움직임 품질 점수 생성의 일반화 능력과 성능 향상에 기여하는가?
• RQ2 트랜스포머 기반 아키텍처가 기존의 CNN-LSTM 모델보다 움직임 품질 평가 작업에서 승리하는가?
• RQ3 특징 추출 단계에 주목사용을 통합하면 모델 성능과 해석 가능성 향상에 기여하는가?
• RQ4 다양한 CNN 기반 특징 추출기 중 어떤 것이 뼈대 데이터 기반 트랜스포머 시퀀스 모델링에 더 효과적인가?
• RQ5 제안된 프레임워크가 더 크고 다양한 재활 데이터셋에 얼마나 잘 스케일업 가능한가?

주요 결과

• 제안된 프레임워크는 UI-PRMD 데이터셋에서 기존 최고 성능 기법 대비 움직임 품질 점수 예측 정확도에서 12% 향상되었다.
• KIMORE 데이터셋에서는 기존 방법 대비 점수 예측 정확도에서 21% 향상되었다.
• 제안된 데이터 증강 기법의 사용으로 인해 피험자 간 분리도 지표는 18% 이상 향상되었고, 피험자 내 분리도 지표는 1.5% 향상되었다.
• HFE-A와 MLP 기반 특징 추출기가 제안된 네 가지 특징 추출기 중에서 가장 높은 성능을 보였다.
• HFE-A 특징 추출기의 주목사용 메커니즘이 움직임 품질에 기여하는 핵심 신체 부위를 강조함으로써 더 나은 해석 가능성 향상을 이끌었다.
• 트랜스포머 기반 아키텍처는 고감도 하이퍼파rameter 민감도에도 불구하고 LSTM 기반 모델 대비 뛰어난 확장성과 학습 속도를 보였다.