[논문 리뷰] HybrIK: A Hybrid Analytical-Neural Inverse Kinematics Solution for 3D Human Pose and Shape Estimation

Jiefeng Li, Chao Xu외 4명|arXiv (Cornell University)|2020. 11. 30.

Human Pose and Action Recognition참고 문헌 70인용 수 16

한 줄 요약

HybrIK는 상대 회전을 비틀림(twist)과 진동(swing) 성분으로 분해함으로써 정확한 3D 관절 예측을 실질적인 픽셀 정렬 3D 신체 메시로 변환하는 가역적이고 하이브리드 분석-신경망 역운동역학 방법을 제안한다. 이는 진동 성분을 분석적으로 해결하고 비틀림 성분을 신경망을 통해 학습함으로써 달성된다. 이는 추가 최적화나 보조 기능 없이도 3DPW 벤치마크에서 기존 방법보다 13.2 mm MPJPE와 21.9 mm PVE를 개선하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Model-based 3D pose and shape estimation methods reconstruct a full 3D mesh for the human body by estimating several parameters. However, learning the abstract parameters is a highly non-linear process and suffers from image-model misalignment, leading to mediocre model performance. In contrast, 3D keypoint estimation methods combine deep CNN network with the volumetric representation to achieve pixel-level localization accuracy but may predict unrealistic body structure. In this paper, we address the above issues by bridging the gap between body mesh estimation and 3D keypoint estimation. We propose a novel hybrid inverse kinematics solution (HybrIK). HybrIK directly transforms accurate 3D joints to relative body-part rotations for 3D body mesh reconstruction, via the twist-and-swing decomposition. The swing rotation is analytically solved with 3D joints, and the twist rotation is derived from the visual cues through the neural network. We show that HybrIK preserves both the accuracy of 3D pose and the realistic body structure of the parametric human model, leading to a pixel-aligned 3D body mesh and a more accurate 3D pose than the pure 3D keypoint estimation methods. Without bells and whistles, the proposed method surpasses the state-of-the-art methods by a large margin on various 3D human pose and shape benchmarks. As an illustrative example, HybrIK outperforms all the previous methods by 13.2 mm MPJPE and 21.9 mm PVE on 3DPW dataset. Our code is available at https://github.com/Jeff-sjtu/HybrIK.

연구 동기 및 목표

• 3D 관절 추정과 파arametric 신체 모델링 간의 빈도와 구조적 현실성 문제를 해결하기 위해 3D 관절 추정과 파라미터 기반 신체 모델링을 연결한다.
• 모델 기반 방법의 비선형적이고 추상적인 매개변수 공간이 3D 자세 및 형태 추정에서 딥 네트워크 학습을 방해하는 문제를 해결한다.
• 파라미터 기반 신체 모델을 통한 해부학적 타당성 강제를 통해 3D 관절 기반 방법의 현실성 수준을 향상시킨다.
• 역운동역학에서 반복 최적화 단계를 제거함으로써 3D 관절 및 메시 예측의 엔드 투 엔드 가역적 훈련을 가능하게 한다.
• 3D 뼈대와 파라미터 기반 메시 간의 피드백 루프를 강력하고 가역적인 IK 솔루션을 통해 닫아, 관절 정확도와 메시의 현실성을 유지한다.

제안 방법

• 운동역학 트리 분해를 통해 상대 관절 회전을 비틀림(종축) 및 진동(면내) 성분으로 분해한다.
• 기하학적 제약 조건을 사용하여 3D 관절 위치에서 진동 회전을 분석적으로 계산함으로써 정확성과 일관성을 확보한다.
• 시각적 단서를 사용하여 신경망을 통해 비틀림 회전을 학습함으로써 복잡한 자세에 대한 데이터 기반 적응성을 확보한다.
• 운동역학 트리에 따라 비틀림과 진동 회전을 순차적으로 조합하여 3D 관절에서 전체 신체 메시를 재구성한다.
• 전체 파ipeline의 완전한 가역성을 확보하여 3D 관절 및 메시 헤드의 엔드 투 엔드 훈련을 가능하게 한다.
• 실제 신체 비율을 강제하고 해부학적 일관성 결함을 방지하기 위해 파라미터 기반 SMPL 모델을 통합한다.

실험 결과

연구 질문

• RQ1 하이브리드 분석-신경망 역운동역학 접근법은 단일 뷰 3D 인간 자세 추정에서 3D 관절 정확도와 메시의 현실성 향상에 기여할 수 있는가?
• RQ2 비틀림-진동 분해는 3D 관절 예측에서 정확하고 가역적이며 강건한 메시 재구성에 어떻게 기여하는가?
• RQ3 학습된 비틀림 성분은 3D 관절 추정 오차를 얼마나 잘 보정하면서도 해부학적 타당성을 유지할 수 있는가?
• RQ4 제안된 방법은 반복 최적화나 후처리 없이 3D 뼈대와 파라미터 기반 메시 간의 피드백 루프를 닫을 수 있는가?
• RQ5 하이브리드 접근법은 메시의 정밀도와 관절 정확도 측면에서 순수한 관절 추정 및 모델 기반 최적화 방법을 모두 초월하는가?

주요 결과

• HybrIK는 3DPW에서 최신 기술 수준 성능을 달성하여 기존 방법보다 Per-Vertex Error(PVE) 기준 21.9 mm 향상되며, 뛰어난 메시 재구성 정밀도를 입증한다.
• 3DPW 데이터셋에서 HybrIK는 이전 최신 기술 수준 대비 MPJPE를 13.2 mm 향상시켜 3D 관절 정확도 향상을 확인한다.
• 적응형 버전의 HybrIK는 노이즈가 있는 입력 관절에 대해 기존 간단한 버전 대비 운동역학 트리에 따른 오차 누적을 줄이는 강건성을 보였다.
• HybrIK는 SMPL 모델의 통계적 사전 지식을 강제 적용함으로써 좌우 비대칭성 및 비정상적인 사지 비율 등의 비현실적인 자세를 수정한다.
• 예측된 관절에 적용했을 때 관절 오차를 SMPLify 이후 114.3 mm에서 79.2 mm로 감소시켜 강력한 오차 보정 능력을 입증한다.
• 보조 기능 없이도 Human3.6M에서 PA-MPJPE 기준 6.6 mm, MPI-INF-3DHP에서 AUC 기준 10.8 mm 향상되어 광범위한 효과성을 확인한다.