[논문 리뷰] High-Accuracy Real-Time Whole-Body Human Motion Tracking Based on Constrained Nonlinear Kalman Filtering

Jannik Steinbring, Christian Mandery외 3명|arXiv (Cornell University)|2015. 11. 13.

Human Pose and Action Recognition참고 문헌 16인용 수 3

한 줄 요약

이 논문은 제약 조건이 있는 비선형 칼만 필터링을 사용하여 실시간으로 고정밀도로 전신 인간 운동을 추적하는 시스템을 제안한다. 관절 제한을 비제약 조건이 되는 주기적 함수로 변환하고 스마트 샘플링 칼만 필터(S²KF)를 적용함으로써, 부분적인 마커 가림 상황에서도 강인한 추적 성능을 달성하며, 기울기 기반 방법들을 능가하고 표준 하드웨어에서 8ms 이내의 런타임을 유지한다. 평균적으로 최대 16개의 마커가 손실된 경우에도 성능을 유지를 한다.

ABSTRACT

We present a new online approach to track human whole-body motion from motion capture data, i.e., positions of labeled markers attached to the human body. Tracking in noisy data can be effectively performed with the aid of well-established recursive state estimation techniques. This allows us to systematically take noise of the marker measurements into account. However, as joint limits imposed by the human body have to be satisfied during estimation, first we transform this constrained estimation problem into an unconstrained one by using periodic functions. Then, we apply the Smart Sampling Kalman Filter to solve this unconstrained estimation problem. The proposed recursive state estimation approach makes the human motion tracking very robust to partial occlusion of markers and avoids any special treatment or reconstruction of the missed markers. A concrete implementation built on the kinematic human reference model of the Master Motor Map framework and a Vicon motion capture system is evaluated. Different captured motions show that our implementation can accurately estimate whole-body human motion in real-time and outperforms existing gradient-based approaches. In addition, we demonstrate its ability to smoothly handle incomplete marker data.

연구 동기 및 목표

• 노이즈가 있는 레이블링된 마커 데이터로부터 실시간으로 고정밀도로 전신 인간 운동을 추적할 수 있도록 하는 것.
• 재귀적 상태 추정 과정에서 인간 관절 제한을 준수하는 문제를 해결하는 것.
• 마커가 부분적으로 가려지거나 손실된 경우에도 강인하고 정확한 방법을 개발하는 것.
• 특수 초기화(예: T자세) 또는 마커 복원이 필요 없도록 하는 것.
• Vicon 시스템과 마스터 모터 맵 프레임워크를 사용하여 복잡한 운동(예: 손대롱)에서도 실시간 성능과 고정밀도를 입증하는 것.

제안 방법

• 인간 관절 제한으로 인한 제약 조건이 있는 추정 문제를 주기적 함수로 관절 각도를 표현함으로써 비제약 조건 문제로 변환한다.
• 스마트 샘플링 칼만 필터(S²KF)를 적용하여 노이즈가 있는 마커 측정치로부터 재귀적으로 전체 인간 자세를 추정한다.
• 마스터 모터 맵(MMM) 프레임워크의 운동학적 기준 모델을 사용하여 인간 신체의 구조와 운동학을 정의한다.
• 마커 위치의 사전 지식과 운동학적 제약 조건을 상태 추정 과정에 통합하여 정확도를 향상시킨다.
• 칼만 필터의 재귀적 성질을 활용하여 일부 마커가 손실된 경우에도 상태 추정을 유지하며, 마커 복원이 필요 없도록 한다.
• 표준 CPU에서 실시간 처리가 가능한 Vicon 동작 캡처 시스템을 대상으로 평가하여 지연 시간을 <8ms 이내로 유지한다.

실험 결과

연구 질문

• RQ1 제약 조건이 있는 비선형 칼만 필터가 해부학적 관절 제한을 준수하면서도 실시간으로 전신 인간 운동을 추적하는 데 효과적으로 사용될 수 있는가?
• RQ2 마커가 부분적으로 가려지거나 손실된 경우, 제안된 방법의 정확도와 강인성은 어떻게 평가되는가?
• RQ3 관절 각도를 표현하기 위해 주기적 함수를 사용함으로써 칼만 필터링 프레임워크 내에서 정확하고 비제약 조건의 추정이 가능해지는가?
• RQ4 기존 기울기 기반 최적화 방법과 비교할 때, 제안된 S²KF 기반 접근법은 정확도와 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 마커 데이터가 불완전한 경우, 예를 들어 최대 50%의 마커가 가려진 경우, 얼마나 높은 추적 정확도를 유지할 수 있는가?

주요 결과

• Intel Core i7-3770 CPU에서 제안된 방법은 8ms 이내의 추정 런타임을 달성하여 100Hz에서 실시간 전신 운동 추적을 가능하게 한다.
• 모든 평가 운동에서 측정된 위치와 추정된 위치 간의 평균 마커 거리는 5cm 이하이며, 마커 가림 시뮬레이션 동안 최대 9cm를 기록한다.
• 프레임당 평균적으로 최대 16개의 마커(50개의 마커 중 32%)가 손실된 경우에도 높은 정확도를 유지하며, 마커 거리 증가는 미미하게 증가한다.
• 기존 기울기 기반 방법들을 능가하며, 특히 손대롱과 같은 복잡한 운동에서는 후자에서 평균 마커 거리가 60cm 이상으로 나타나는 등 뚜렷한 성능 우월성을 보인다.
• 마커 복원이나 특수 초기화 없이도 부분적인 가림 상황을 성공적으로 처리하며, 매끄럽고 정확한 자세 추정을 유지한다.
• 그림 6의 시각적 결과는 일부 프레임에서 25개 이상의 마커가 가려진 경우에도 추정된 자세가 실제 자세와 매우 유사하게 유지됨을 보여준다.