[논문 리뷰] Physical Inertial Poser (PIP): Physics-aware Real-time Human Motion Tracking from Sparse Inertial Sensors

Xinyu Yi, Yuxiao Zhou외 5명|arXiv (Cornell University)|2022. 03. 16.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 유일하게 실시간으로 물리학적 고려를 한 방식으로 6개의 관성 센서에서만 전체 신체 운동, 관절 토크, 지면 반력력을 추정하는 Physical Inertial Poser (PIP)를 제안한다. 운동학적 추정을 위한 학습 기반 RNN과 이중 PD 제어기를 사용한 물리 기반 최적화기를 결합하여 물리적 타당성을 강제함으로써, 이전의 희박한 IMU 방법에 비해 정확도, 안정성, 현실성 향상과 함께 16ms의 지연을 달성한다.

ABSTRACT

Motion capture from sparse inertial sensors has shown great potential compared to image-based approaches since occlusions do not lead to a reduced tracking quality and the recording space is not restricted to be within the viewing frustum of the camera. However, capturing the motion and global position only from a sparse set of inertial sensors is inherently ambiguous and challenging. In consequence, recent state-of-the-art methods can barely handle very long period motions, and unrealistic artifacts are common due to the unawareness of physical constraints. To this end, we present the first method which combines a neural kinematics estimator and a physics-aware motion optimizer to track body motions with only 6 inertial sensors. The kinematics module first regresses the motion status as a reference, and then the physics module refines the motion to satisfy the physical constraints. Experiments demonstrate a clear improvement over the state of the art in terms of capture accuracy, temporal stability, and physical correctness.

연구 동기 및 목표

• 희박한 관성 센서에서 물리적으로 타당하고 실시간으로 인간 운동을 추적하는 문제를 해결하기 위해, 기존 방법에서 흔히 발생하는 모호성과 불안정성 문제를 해결한다.
• 기존 방법에서 흔히 볼 수 있는 미래 정보 의존성(비인과적 처리)을 제거하여 저지연 실시간 응용을 가능하게 한다.
• 장시간 앉아 있는 등의 모호한 자세(예: 앉아 있는 자세 vs. 서 있는 자세)의 해소를 위해 학습 기반 RNN 초기화 전략을 도입한다.
• 관절 토크 및 지면 반력력 추정과 함께 물리 기반 최적화를 통합하여 운동 정확도와 물리적 현실성 향상을 도모한다.

제안 방법

• 두 단계로 구성된 파이프라인: 첫 번째 단계에서 순환 신경망(RNN)이 IMU 입력으로부터 자세, 관절 속도, 발바닥 접촉 확률을 추정하며, 중간 단계에서 잎-전체 관절 위치를 예측한다.
• 특허 기반의 RNN 상태 초기화 전략으로, 특히 장시간 앉아 있는 자세와 같은 모호한 운동의 해소를 향상시킨다.
• 관절 토크 제어를 사용하는 부유 기반 캐릭터 모델을 활용한 물리 기반 운동 최적화 단계로 물리적 제약 조건을 강제한다.
• 관절 위치와 자세를 동시에 비례-미분 제어하는 이중 PD 제어기를 도입하여 통합적 자세 제어를 가능하게 하고, 이동 오차 누적을 줄인다.
• 물리 기반 최적화와 함께 루트 속도 통합을 통합하여 안정적인 전역 운동을 유지하고 부유 또는 침강 현상을 방지한다.
• 최적화된 운동 궤적에서 역역학을 사용하여 관절 토크 및 지면 반력력을 유도한다.

실험 결과

연구 질문

• RQ1 6개의 IMU에서만 미래 데이터에 의존하지 않고 실시간으로 인과적 방법이 높은 정확도의 인간 운동 추적을 달성할 수 있는가?
• RQ2 희박한 IMU 기반 운동 캡처에서 물리적 타당성을 향상시켜 진동과 발 미끄러짐 등의 아티팩트를 줄일 수 있는가?
• RQ3 학습 기반 RNN 초기화 전략이 장시간 앉아 있는 자세와 같은 모호한 자세의 해소에 얼마나 기여하는가?
• RQ4 관절 위치와 자세를 동시에 제어하는 이중 PD 제어기가 단일 PD 제어기보다 이동 정확도와 물리적 현실성 향상에 더 효과적인가?

주요 결과

• PIP는 16ms 지연을 기록하고 60 FPS로 작동하여 VR 및 게임에서의 실시간 라이브 운동 캡처 등의 응용을 가능하게 한다.
• DIP-IMU 데이터셋에서 상태 기반 희박한 IMU 방법에 비해 훨씬 뛰어난 추적 정확도를 확보하였으며, 다음으로 우수한 방법보다 SIP 오차가 0.1° 낮다.
• 학습 기반 RNN 초기화 전략은 장시간 앉아 있는 시퀀스에서 방향 오차를 50% 이상 감소시켰으며, 기존 기준 모델은 역사적 상태 정보 손실로 실패한다.
• 물리 기반 최적화기는 비최적화 기준 대비 운동 진동을 40% 감소시키며, 속도 통합으로 인한 부유 또는 침강 아티팩트를 완전히 제거한다.
• 이중 PD 제어기는 단일 PD 제어기 대비 이동 정확도를 30% 향상시키며, 손 흔들기나 걷기와 같은 복잡한 운동에서 두드러진다.
• 지면 반력력과 관절 토크는 물리적으로 타당하다: GRF 프로파일은 기대되는 중력 균형 행동을 보이며, 토크 피크는 흔들기 운동의 가속 단계와 일치한다.