[논문 리뷰] Remote Health Coaching System and Human Motion Data Analysis for Physical Therapy with Microsoft Kinect

Qifei Wang, Gregorij Kurillo외 2명|arXiv (Cornell University)|2015. 12. 21.

Hand Gesture Recognition Systems참고 문헌 7인용 수 13

한 줄 요약

이 논문은 물리 치료를 위한 원격 건강 코칭 시스템을 제시하며, Microsoft Kinect을 활용하여 노이즈가 있는 운동 데이터를 Unscented Kalman Filter (UKF) 및 인간 뼈대 운동학 모델 기반의 운동학 필터링 기법으로 처리한다. 이 방법은 관절 위치와 운동학적 파라미터의 노이즈를 감소시켜 보다 매끄럽고 정확한 운동 분석을 가능하게 하며, 홈 기반 치료에서 실시간 피드백 및 임상 평가에 적합하다.

ABSTRACT

This paper summarizes the recent progress we have made for the computer vision technologies in physical therapy with the accessible and affordable devices. We first introduce the remote health coaching system we build with Microsoft Kinect. Since the motion data captured by Kinect is noisy, we investigate the data accuracy of Kinect with respect to the high accuracy motion capture system. We also propose an outlier data removal algorithm based on the data distribution. In order to generate the kinematic parameter from the noisy data captured by Kinect, we propose a kinematic filtering algorithm based on Unscented Kalman Filter and the kinematic model of human skeleton. The proposed algorithm can obtain smooth kinematic parameter with reduced noise compared to the kinematic parameter generated from the raw motion data from Kinect.

연구 동기 및 목표

• Microsoft Kinect과 같은 저비용 소비자용 센서를 활용하여 접근성 있고 원격 기반의 물리 치료용 건강 코칭 시스템을 개발하기 위해.
• 임상적 신뢰성을 확보하기 위해 고정밀 광학 운동 캡처 시스템(PhaseSpace)과 비교하여 Kinect의 운동 데이터 정확도를 평가하기 위해.
• 진동, 가림, 추적 상실 등으로 인한 노이즈와 이상치 데이터를 효과적으로 탐지하고 제거하기 위해.
• 물리 기반의 필터링 모델을 활용하여 노이즈가 있는 원시 Kinect 데이터에서 매끄럽고 정확한 운동학적 파라미터(예: 관절 각도, 세그먼트 방향)를 추출하기 위해.
• 노인 사용자를 대상으로 한 홈 기반 물리 치료에서 실시간 성능 평가 및 피드백을 가능하게 하기 위해.

제안 방법

• 시스템은 20 Hz에서 실시간으로 깊이 및 뼈대 관절 데이터를 Microsoft Kinect으로 캡처하며, 120 Hz에서 작동하는 PhaseSpace 광학 운동 캡처 시스템과 시간 동기화를 수행한다.
• 추적 상실로 인한 이상치 데이터를 탐지하고 제거하기 위해 정규분포와 균일분포의 혼합 모델을 사용한다.
• 부모-자식 관계와 변환 행렬을 사용하여 3-DoF, 2-DoF, 1-DoF 관절을 포함하는 인간 뼈대의 운동학 모델을 구축하며, 관절 위치는 식 (2)를 통해 계산된다.
• 노이즈가 있는 Kinect 데이터로부터 매끄러운 운동학적 파라미터를 추정하기 위해 Unscented Kalman Filter (UKF)를 적용하며, 상태 벡터에는 루트 위치, 세그먼트 길이, 회전 쿼aternion이 포함된다.
• 세그먼트 길이를 일정하게 유지하기 위해 2차 및 3차 통과에서 길이의 공분산과 공정 노이즈를 0으로 설정하는 4단계 UKF 방법을 적용하여 제약 조건 이행을 향상시킨다.
• 관측 모델은 상태 추정치를 예측된 관절 위치로 매핑하기 위해 운동학 함수(식 2)를 사용하며, 상태 전이 모델은 공정 노이즈를 포함한 무작위 보행 과정을 따른다.

실험 결과

연구 질문

• RQ1 물리 치료 응용 분야에서 고정밀 광학 운동 캡처 시스템(PhaseSpace)과 비교할 때 Microsoft Kinect의 운동 추적 정확도는 어느 정도인가?
• RQ2 Kinect가 감지한 운동 데이터에서 주로 발생하는 노이즈와 이상치의 원인은 무엇이며, 이를 효과적으로 탐지하고 제거할 수 있는가?
• RQ3 UKF 및 인간 뼈대 모델 기반의 운동학 필터링 기법이 원시 Kinect 데이터에서 유도된 관절 위치와 운동학적 파라미터의 노이즈를 상당히 감소시킬 수 있는가?
• RQ4 제안된 필터링 방법은 물리 치료 운동 중 인간 운동의 주기성 및 생리학적 패턴을 어느 정도 유지하는가?
• RQ5 필터링된 운동학적 파라미터는 원격 건강 코칭 시스템에서 신뢰할 수 있는 실시간 성능 평가 및 피드백을 지원할 수 있는가?

주요 결과

• Kinect 1과 Kinect 2는 PhaseSpace 시스템과 비교해 관절 위치 오차가 뚜렷하게 크며, 다양한 관절과 자세에서 평균 오차가 2.5 cm에서 6.5 cm까지 변동한다.
• 혼합 모델은 추적 상실로 인한 이상치 데이터를 효과적으로 식별하고 제거하여 후속 분석을 위한 데이터 품질을 향상시킨다.
• UKF 기반 운동학 필터링은 도식 4에서 보듯이 원시 Kinect 데이터보다 관절 각도 궤적을 훨씬 더 매끄럽게 만든다. 특히 어깨 및 팔꿈치 관절에서 두드러진다.
• 필터링된 세그먼트 쿼터니언 곡선은 운동 패턴과 강하게 일치하는 강력한 주기적 패턴을 보이며, 노이즈 억제 및 운동 패턴 복원에 성공했음을 시사한다.
• 4단계 UKF 방법은 세그먼트 길이를 일정하게 유지하여 드리프트를 감소시키고, 추정된 운동학의 해부학적 타당성을 향상시켰다.
• 시스템은 반복 수 계산, 관절 운동 분석, 운동 범위 평가 등 실시간 성능 평가를 가능하게 하여 원격 치료에서 임상 피드백을 지원한다.