[논문 리뷰] HMM and DTW for evaluation of therapeutical gestures using kinect

Carlos Palma, Augusto Salazar외 1명|arXiv (Cornell University)|2016. 02. 11.

Hand Gesture Recognition Systems참고 문헌 6인용 수 11

한 줄 요약

이 논문은 키넥트로 측정한 운동 데이터를 기반으로 한 숨겨진 마르코프 모델(HMM) 기반 시스템을 제안하며, 다차원 동적 시간비례(MDDTW)보다 미세한 운동 오류를 식별하는 데서 뛰어난 성능을 보인다. HMM은 상태 전이와 기호 확률을 모델링하여 비준수 시퀀스를 효과적으로 탐지하며, 각도 기반 특징에서 평균 81.3%의 오류 식별 정확도를 달성한다. 반면 MDDTW는 특히 단계 1 및 2 운동 시퀀스에서 작은 이탈을 거부하지 못해 실패한다.

ABSTRACT

Automatic recognition of the quality of movement in human beings is a challenging task, given the difficulty both in defining the constraints that make a movement correct, and the difficulty in using noisy data to determine if these constraints were satisfied. This paper presents a method for the detection of deviations from the correct form in movements from physical therapy routines based on Hidden Markov Models, which is compared to Dynamic Time Warping. The activities studied include upper an lower limbs movements, the data used comes from a Kinect sensor. Correct repetitions of the activities of interest were recorded, as well as deviations from these correct forms. The ability of the proposed approach to detect these deviations was studied. Results show that a system based on HMM is much more likely to determine if a certain movement has deviated from the specification.

연구 동기 및 목표

• 전문가 관찰에 의존도를 줄이기 위해 물리치료 운동의 품질 평가를 위한 객관적이고 자동화된 시스템을 개발하는 것.
• 노이즈가 있는 센서 데이터에서 정상 운동 양식에서의 미세하고 임상적으로 중요한 이탈을 탐지하는 데 도전하는 것.
• 키넥트로 측정한 운동학적 데이터를 사용하여 치료 운동 중 이탈을 식별하는 데 있어 HMM과 MDDTW의 효과성을 비교하는 것.
• 통제된 이탈이 있는 다양한 상지 및 하지 운동에 대해 두 모델의 강인성을 평가하는 것.
• HMM의 상태 전이에 대한 확률적 모델링이 MDDTW의 정렬 기반 유사도 측정 방식보다 열외치 탐지에 뛰어난 성능을 보이는지 여부를 규명하는 것.

제안 방법

• 키넥트 센서가 14명의 피험자가 수행한 10개의 표준화된 물리치료 운동(정상 및 이탈된 반복 포함)에서 3차원 관절 궤적을 측정했다.
• 운동 특징 정의를 위해 해부학적 평면(sagittal, frontal, transverse) 기준으로 관절 각도를 추출하였다.
• 각 관절 각도 시퀀스에 대한 상태 전이 및 관측 확률을 모델링하기 위해 정상 운동 시퀀스를 기반으로 HMM을 훈련시켰다.
• MDDTW는 다차원 공간에서 유클리드 거리를 사용하여 테스트 시퀀스와 기준 템플릿 간의 정렬 비용을 계산하였다.
• HMM 하에서 테스트 시퀀스의 가능도는 프론트워드 알고리즘을 사용하여 계산되었으며, 낮은 가능도가 이탈을 나타내었다.
• 특정 운동 평면에서 통제된 이탈이 있는 시퀀스에 대해 HMM과 MDDTW 점수를 비교하여 오류 탐지 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 HMM은 MDDTW가 쉽게 식별하지 못하는 치료 운동의 미세한 이탈을 효과적으로 탐지할 수 있는가?
• RQ2 물리치료 운동에서 정상 형태에서 약간 이탈된 시퀀스를 거부하는 데 있어 HMM의 성능은 MDDTW와 비교해 어떻게 되는가?
• RQ3 HMM에서 상태 전이와 기호 확률을 모델링하는 것이 순수한 유사도 정렬 방식에 비해 비준수 운동 탐지 성능을 향상시키는가?
• RQ4 입력 특징의 선택 — 좌표값 대비 관절 각도 — 이 이탈 탐지 정확도에 어떤 영향을 미치는가?
• RQ5 실제 환경에서 센서 노이즈와 거리에 따른 정밀도 손실이 HMM과 MDDTW의 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• HMM은 단계 2에서 각도 기반 특징을 사용하여 평균 81.3%의 오류 식별 정확도를 달성했으며, 동일한 지표에서 MDDTW의 13.0%보다 뚜렷이 뛰어나다.
• 단계 1에서는 HMM이 각도 시퀀스를 사용해 오류 1 탐지 정확도 78.1%를 기록했고, MDDTW는 단지 13.1%에 머물렀다.
• MDDTW는 특히 단계 1에서 작은 이탈이 있는 시퀀스를 거부하지 못했으며, 대부분의 작업에서 오류 식별 정확도가 30% 이하였다.
• 어깨 외전, 전면 운동, 회전 운동에서는 HMM이 뛰어난 성능을 보였으며, 여러 조건에서 70% 이상의 오류 식별 정확도를 기록했다.
• 어깨 및 팔꿈치 확장, 대퇴부 외전 운동에서는 HMM의 성능이 열악했으며, 이는 센서 노이즈와 거리 증가에 따른 정밀도 저하 때문일 것이다.
• 본 연구는 퀼레르티온 기반 데이터가 탐지 정확도 향상에 기여할 수 있으며, 조건부 무작위 필드와 같은 분류 모델이 열외치 탐지 성능을 향상시킬 수 있을 것으로 제안한다.