[논문 리뷰] Sparse Inertial Poser: Automatic 3D Human Pose Estimation from Sparse IMUs

Timo von Marcard, Bodo Rosenhahn외 2명|arXiv (Cornell University)|2017. 03. 23.

Human Pose and Action Recognition인용 수 19

한 줄 요약

스퍼스 인ert리얼 포지셔너(SIP)는 모든 프레임에서 방향 및 가속도 데이터에 맞추기 위해 통계적 신체 모델(SMPL)을 공동 최적화함으로써 단 6개의 관성 센서(IMU)에서 정확한 3D 인간 자세 추정을 가능하게 한다. 이 방법은 영상 입력 없이도 높은 정확도를 달성하며, TNT15 데이터셋에서 기준선을 초월하고, 등반 및 점프와 같은 제약 없는 실외 환경에서도 강건성을 입증한다. 평균 방향 오차 13.32° 및 위치 오차 3.9 cm의 높은 정확도를 기록한다.

ABSTRACT

We address the problem of making human motion capture in the wild more practical by using a small set of inertial sensors attached to the body. Since the problem is heavily under-constrained, previous methods either use a large number of sensors, which is intrusive, or they require additional video input. We take a different approach and constrain the problem by: (i) making use of a realistic statistical body model that includes anthropometric constraints and (ii) using a joint optimization framework to fit the model to orientation and acceleration measurements over multiple frames. The resulting tracker Sparse Inertial Poser (SIP) enables 3D human pose estimation using only 6 sensors (attached to the wrists, lower legs, back and head) and works for arbitrary human motions. Experiments on the recently released TNT15 dataset show that, using the same number of sensors, SIP achieves higher accuracy than the dataset baseline without using any video data. We further demonstrate the effectiveness of SIP on newly recorded challenging motions in outdoor scenarios such as climbing or jumping over a wall.

연구 동기 및 목표

• 마커 기반 및 시각 기반 시스템이 실용적이지 않은 실생활 환경에서 제약 없는 인간 운동 캡처에 도전한다.
• 전체 신체 3D 자세 추정을 위한 희소한 IMU 데이터(예: 제한된 센서 수, 통합 시 누적 오차)의 과소정의 성격을 극복한다.
• 손목, 하체, 뒷면, 머리에 부착된 6개의 IMU만을 사용하여 최소한의 간섭으로 구현 가능한 솔루션을 개발한다.
• 영상 입력이나 대규모 센서 어레이에 의존하지 않고 통계적 신체 모델링과 다중 프레임 최적화를 활용한다.
• 등반, 점프, 글쓰기와 같은 복잡한 제약 없는 운동에서 조건이 어려운 실외 및 가림 상황에서도 뛰어난 성능을 입증한다.

제안 방법

• 통계적 신체 모델(SMPL)을 사용해 신체 체형 및 운동학적 제약 조건을 코딩하여 타당한 인간 자세에 대한 사전 지식을 제공한다.
• 전체 시퀀스의 모든 IMU 프레임에서 방향 및 가속도 측정값에 신체 모델을 동시에 맞추는 공동 최적화 프레임워크를 설정한다.
• 신체 모델의 자세 및 체형 파라미터와 IMU 측정값(방향 및 가속도)을 조합한 비용 함수를 최소화하여 물리적 타당성을 확보한다.
• 모든 프레임을 동시에 최적화함으로써 시간적 정규화를 적용하여 프레임별 통합 방식에 비해 오차 누적를 줄이고 안정성을 향상시킨다.
• 관절 각도와 신체 비율에 대한 사전 지식을 통합하여, 직접 측정이 어려운 관절(예: 손목, 발목)이 누락된 경우에도 해부학적 현실성을 유지한다.
• 기울기 기반 최적화 방법을 사용하여 전체 자세 시퀀스를 추정하며, 목적 함수는 센서 데이터 및 모델 사전 지식에서의 이탈을 처벌한다.

실험 결과

연구 질문

• RQ1 영상 입력이나 고밀도 센서 어레이 없이 단 6개의 IMU만으로도 전체 3D 인간 자세를 정확하게 추정할 수 있는가?
• RQ2 모든 프레임에 걸쳐 공동 최적화하는 것이 프레임별 통합 방식에 비해 오차 누적를 줄이고 자세 추정의 안정성을 향상시키는 데 얼마나 효과적인가?
• RQ3 통계적 신체 모델(SMPL)이 제약 없는 운동 캡처에서 IMU 데이터의 모호성과 희소성 문제를 어느 정도 보완할 수 있는가?
• RQ4 등반, 점프, 글쓰기와 같은 복잡한 실생활 운동에 대해 이 방법이 고역동성 운동과 가림 상황에서도 일반화 가능한가?
• RQ5 자세 정확도 측면에서, 이 방법은 자세 데이터만을 사용하거나 다른 신체 모델을 사용하는 기준선과 비교해 어떻게 성능을 냈는가?

주요 결과

• SIP는 영상 입력 없이도 TNT15 데이터셋에서 단 6개의 IMU만으로도 평균 방향 오차 13.32° 및 위치 오차 3.9 cm를 기록하며, 기준선을 크게 초월한다.
• 이 방법은 벽을 점프하거나 등반, 자전거 타기, 화이트보드에 글쓰기와 같은 복잡한 운동을 성공적으로 재구성하여 제약 없는 실외 환경에서의 강건성을 입증한다.
• 모든 프레임에 걸쳐 공동 최적화함으로써 오차 누적를 효과적으로 완화하고 안정성을 향상시켜, 이전 연구에서 흔히 사용되는 프레임별 통합 방식을 능가한다.
• SMPL 모델의 사용은 불완전하고 모호한 센서 데이터 상황에서도 정확한 자세 추정을 가능하게 하며, 강력한 해부학적 및 운동학적 사전 지식을 제공한다.
• 신체 체형 평가 기반으로 유추된 근사적 신체 모델을 사용할 경우에도 방법이 효과를 유지함으로써 입력 불확실성에 대한 강건성을 입증한다.
• SIP는 단 6개의 센서만으로도 최소한의 간섭을 유도하는 운동 캡처를 가능하게 하여, VR, 건강 모니터링, 행동 연구 등 실생활 적용에 실용적이다.