[논문 리뷰] Fusing Wearable IMUs with Multi-View Images for Human Pose Estimation: A Geometric Approach

Zhe Zhang, Chunyu Wang외 2명|arXiv (Cornell University)|2020. 03. 25.

Human Pose and Action Recognition참고 문헌 34인용 수 10

한 줄 요약

이 논문은 웨어러블 IMU를 활용하여 다중 시점 2D 자세 추정을 향상시키고 3D 인간 자세 복원을 개선하는 기하학적 융합 방법을 제안한다. IMU 자세를 사용하여 2D 특징을 정제하는 방향성 정규화 네트워크(ORN)와 IMU 데이터를 활용해 3D 일致성을 강제하는 방향성 정규화 그림자 모델(ORPSM)을 도입함으로써, Total Capture 데이터셋에서 3D 자세 오차를 24.6 mm로 감소시켰으며, 이는 이전 최고 성능 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

We propose to estimate 3D human pose from multi-view images and a few IMUs attached at person's limbs. It operates by firstly detecting 2D poses from the two signals, and then lifting them to the 3D space. We present a geometric approach to reinforce the visual features of each pair of joints based on the IMUs. This notably improves 2D pose estimation accuracy especially when one joint is occluded. We call this approach Orientation Regularized Network (ORN). Then we lift the multi-view 2D poses to the 3D space by an Orientation Regularized Pictorial Structure Model (ORPSM) which jointly minimizes the projection error between the 3D and 2D poses, along with the discrepancy between the 3D pose and IMU orientations. The simple two-step approach reduces the error of the state-of-the-art by a large margin on a public dataset. Our code will be released at https://github.com/CHUNYUWANG/imu-human-pose-pytorch.

연구 동기 및 목표

• 단일 시점 및 다중 시점 3D 인간 자세 추정에서의 가림 문제를 해결하기 위해.
• 특히 손목과 발목과 같이 가려진 관절에 대해 다중 시점 환경에서 2D 자세 추정 정확도를 향상시키기 위해.
• 비전 특징 학습을 이끄는 초기 단계에서 관성 측정치(IMU)를 조기에 융합하기 위해.
• 이미지 투영과 IMU 자세 방향을 모두 고려해 3D 자세 일치성을 동시에 최적화하는 기하학적 융합 프레임워크를 개발하기 위해.
• 실제 IMU가 없는 데이터셋에 대해 가상의 자세 방향을 합성하여 방법의 일반화 능력을 검증하기 위해.

제안 방법

• IMU 자세를 구조적 사전 지식으로 사용해 다중 시점 2D 자세 추정에서 관절 간 특징 융합을 향상시키는 방향성 정규화 네트워크(ORN)를 제안한다.
• IMU 자세 데이터를 활용해 3D 공간에서의 상대적 관절 위치 일치성을 강제하는 기하학적 제약 조건을 도입하여 2D 관절 지점 정확도를 향상시킨다.
• 방향성 사전 지식을 통합한 그림자 모델(ORPSM)을 활용해 3D 자세와 IMU 측정치 간의 투영 오차와 자세 불일치를 동시에 최소화한다.
• 두 단계 파이프라인을 사용한다: 먼저 ORN을 통해 2D 히트맵을 정제하고, 이후 기하학적 제약 조건을 포함한 ORPSM를 사용해 3D로 변환한다.
• 예측된 3D 막대 방향과 측정된 IMU 자세 방향 간의 각도 편차를 최소화하는 공동 최적화를 적용한다.
• 실제 IMU가 있는 Total Capture와 가상의 IMU 자세 방향을 합성한 H36M에서 방법을 검증하여 강건성과 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 IMU 데이터는 다중 시점 환경에서 특히 가림 상황에서 2D 자세 추정 정확도 향상에 활용될 수 있는가?
• RQ2 초기 단계에서 관성 측정치를 효과적으로 비전 특징과 융합하여 3D 자세 추정 성능을 향상시킬 수 있는가?
• RQ3 3D 자세 복원에 방향성 사전 지식을 통합하면 잘못된 2D 검출로 인한 오차를 줄일 수 있는가?
• RQ4 가상의 자세 방향을 사용함으로써 실질적인 IMU가 없는 데이터셋에 대해서도 제안된 방법이 일반화 가능한가?
• RQ5 IMU 사전 지식을 통한 2D 및 3D 융합은 독립적인 이미지 및 IMU 예측을 후기 융합하는 것보다 더 효과적인가?

주요 결과

• ORN 모듈은 IMU 기반의 구조적 사전 지식을 활용해 팔꿈치와 손목과 같은 관절에서 3D 자세 오차를 최대 10 mm까지 감소시켰으며, 특히 가림 상황에서 유의미한 향상 효과를 보였다.
• ORPSM 모델은 Total Capture 데이터셋에서 3D 위치 오차가 24.6 mm로 기록되었으며, 이는 이전 최고 성능(29 mm)을 크게 뛰어넘는 성능을 보였다.
• IMU 사전 지식을 통한 2D 및 3D 특징 융합은 상호 보완적이다: ORN과 ORPSM를 동시에 사용할 경우 오차가 30.2 mm로 감소하여 상호 보완적 향상 효과를 입증했다.
• 가상의 IMU 자세 방향을 합성한 H36M 데이터셋에서도 기준 성능을 일관되게 향상시켰으며, 특히 발목과 같이 가려진 관절에서 두드러진 성능 향상을 보였다.
• Total Capture에서 IMUPVH 및 LSTM-AE보다 성능이 뛰어나, IMU 유도 특징 학습을 통한 초기 시점의 시각-관성 융합이 독립적인 예측 후기 융합보다 더 효과적임을 입증했다.
• 주기적인 동작인 '걷기'와 같은 동작에서도 뛰어난 성능을 기록했지만, 순환 모델의 인도크티브 바이어스로 인해 약간의 성능 격차가 남아 있었다.