[논문 리뷰] HybrIK-X: Hybrid Analytical-Neural Inverse Kinematics for Whole-body Mesh Recovery

Jiefeng Li, Siyuan Bian외 4명|arXiv (Cornell University)|2023. 04. 12.

3D Shape Modeling and Analysis인용 수 14

한 줄 요약

HybrIK-X는 정확한 3D 관절을 신체 부위 회전으로 변환하여 픽셀에 정렬된 전신 메시를 복구하는 하이브리드 분석-신경망 역운동학 프레임워크를 도입하고, 이를 한 단계 모델로 손·얼굴까지 확장합니다.

ABSTRACT

Recovering whole-body mesh by inferring the abstract pose and shape parameters from visual content can obtain 3D bodies with realistic structures. However, the inferring process is highly non-linear and suffers from image-mesh misalignment, resulting in inaccurate reconstruction. In contrast, 3D keypoint estimation methods utilize the volumetric representation to achieve pixel-level accuracy but may predict unrealistic body structures. To address these issues, this paper presents a novel hybrid inverse kinematics solution, HybrIK, that integrates the merits of 3D keypoint estimation and body mesh recovery in a unified framework. HybrIK directly transforms accurate 3D joints to body-part rotations via twist-and-swing decomposition. The swing rotations are analytically solved with 3D joints, while the twist rotations are derived from visual cues through neural networks. To capture comprehensive whole-body details, we further develop a holistic framework, HybrIK-X, which enhances HybrIK with articulated hands and an expressive face. HybrIK-X is fast and accurate by solving the whole-body pose with a one-stage model. Experiments demonstrate that HybrIK and HybrIK-X preserve both the accuracy of 3D joints and the realistic structure of the parametric human model, leading to pixel-aligned whole-body mesh recovery. The proposed method significantly surpasses the state-of-the-art methods on various benchmarks for body-only, hand-only, and whole-body scenarios. Code and results can be found at https://jeffli.site/HybrIK-X/

연구 동기 및 목표

• 정확한 3D 관절과 현실적인 바디 메시 사이의 격차를 해소하기 위해 3D 키포인트 추정과 파라메트릭 바디 모델을 연결합니다.
• 해석적 스윙 회전과 신경학적 트위스트 각도를 이용해 신체 부위의 회전을 복구하는 하이브리드 IK 해법을 개발합니다.
• 손과 얼굴을 포함한 전신 메쉬 회복을 단일 단계 프레임워크로 확장합니다.
• 가리기/절단에 대한 강건성을 개선하고 다중 전문가 파이프라인에 비해 계산 복잡성을 감소시킵니다.

제안 방법

• 트위스트-앤드-스윙 분해를 사용하여 신체 부위의 회전을 스윙(해석적으로 해결)과 트위스트(신경) 구성요소로 분해합니다.
• 회전을 미분 가능하고 순방향 전달 방식으로 운동학 트리 따라 해결합니다.
• 신체를 하위 트리(바디, 손, 얼굴)로 나누고 충돌 관절에서 일관성을 보장하기 위해 역방향 업데이트된 병합을 적용하여 HybrIK-X로 확장합니다.
• SMPL/SMPL-X 모델을 정지 자세 rest pose, 형태 beta, 표현 psi에 활용하여 선형 혼합 스킨닝으로 미분 가능한 메시를 생성합니다.
• 2.5D 관절, 트위스트 각도, 모양 및 표정 파라미터를 회귀하여 엔드-투-엔드로 학습한 뒤 IK와 FK를 통해 전체 메시를 복구합니다.

실험 결과

연구 질문

• RQ1 단일 카메라 이미지로부터 하이브리드 분석-신경 IK 파이프라인이 픽셀 정렬된 전신 메쉬 회복을 실현할 수 있는가?
• RQ2 트위스트-앤드-스윙 IK가 전체 3D 회전의 직접 회귀보다 더 안정적이고 현실적인 신체 부위 회전을 가능하게 하는가?
• RQ3 하나의 단계 모델이 별도의 전문가 네트워크 없이도 가리기와 절단을 처리하면서 신체, 손, 얼굴의 회복을 신뢰할 수 있게 할 수 있는가?
• RQ4 하위 트리 간의 역방향 업데이트 병합이 충돌 관절에서의 일관성에 어떻게 영향을 미치는가?

주요 결과

• HybrIK-X는 트위스트-앤드-스윙 IK로 신체 부위 회전을 해결하여 픽셀 정렬된 전신 메시 회복을 달성합니다.
• 스윙 구성요소는 3D 관절에서 해석적으로 해결되며, 트위스트 구성요소는 신경망에 의해 예측되어 미분 가능하고 엔드-투-엔드 학습이 가능하게 합니다.
• HybrIK-X는 HybrIK를 손과 얼굴로 확장하여 하나의 단계 프레임워크로 다중 전문가 파이프라인에 비해 효율성을 향상시킵니다.
• 하위 트리 간의 역방향 업데이트 병합은 공유 관절에서의 충돌을 줄여 일관된 전신 재구성을 가능하게 합니다.
• 방법은 바디-온리, 핸드-온리 및 전신 벤치마크에서 현 시점의 최첨단 방법을 크게 능가한다고 주장합니다.