[논문 리뷰] NIKI: Neural Inverse Kinematics with Invertible Neural Networks for 3D Human Pose and Shape Estimation

Jiefeng Li, Siyuan Bian외 4명|arXiv (Cornell University)|2023. 05. 15.

Human Pose and Action Recognition인용 수 4

한 줄 요약

NIKI는 3D 인간 자세와 형태 추정에서 겹침에 대한 강건성과 픽셀 정렬 정확도를 동시에 달성하기 위해 정방향 및 역방향 운동학을 함께 모델링하는 새로운 역행성 신경망 기반 역운동학 프레임워크를 제안한다. 이중 사전 오차를 이중사상 오차 임bedding을 통해 자세 오차와 타당한 인간 자세의 다양체에서 분리하고, 영점 오차 경계 조건을 강제 적용함으로써, NIKI는 표준 및 겹침이 심한 벤치마크에서 최신 기술을 초월하여 정확도와 강건성 측면에서 모두 최고 성능을 기록한다.

ABSTRACT

With the progress of 3D human pose and shape estimation, state-of-the-art methods can either be robust to occlusions or obtain pixel-aligned accuracy in non-occlusion cases. However, they cannot obtain robustness and mesh-image alignment at the same time. In this work, we present NIKI (Neural Inverse Kinematics with Invertible Neural Network), which models bi-directional errors to improve the robustness to occlusions and obtain pixel-aligned accuracy. NIKI can learn from both the forward and inverse processes with invertible networks. In the inverse process, the model separates the error from the plausible 3D pose manifold for a robust 3D human pose estimation. In the forward process, we enforce the zero-error boundary conditions to improve the sensitivity to reliable joint positions for better mesh-image alignment. Furthermore, NIKI emulates the analytical inverse kinematics algorithms with the twist-and-swing decomposition for better interpretability. Experiments on standard and occlusion-specific benchmarks demonstrate the effectiveness of NIKI, where we exhibit robust and well-aligned results simultaneously. Code is available at https://github.com/Jeff-sjtu/NIKI

연구 동기 및 목표

• 3D 인간 자세 및 형태 추정에서 메쉬-이미지 정렬과 겹침에 대한 강건성 사이의 상충 관계를 해결한다.
• 기존의 픽셀 정렬 방법은 겹침 상황에서 실패하고, 직접 회귀 방법은 정렬 정밀도가 떨어지므로 이러한 한계를 극복한다.
• 역행성 신경망을 사용하여 정방향 및 역방향 운동학을 모두 모델링하는 双방향 학습 프레임워크를 개발한다.
• 틀립-스위프 분해를 통해 분석적 역운동학을 모방함으로써 해석 가능성성을 향상시킨다.
• 비겹침 및 극도로 겹친 상황 모두에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 관절 위치와 3D 관절 회전 및 잠재 오차 임베딩의 병합 공간 사이의 이중사상 매핑을 학습하기 위해 역행성 신경망(INNs)을 활용한다.
• 역방향 과정에서, 잠재 오차의 주변 분포를 감독하여 오차를 타당한 인간 자세 다양체에서 분리함으로써, 노이즈가 많거나 겹친 관절 검출에 대한 강건성을 향상시킨다.
• 정방향 과정에서 영점 오차 경계 조건을 강제 적용하여 예측된 회전이 신뢰할 수 있는 관절 위치를 정확히 설명할 수 있도록 하여, 메쉬-이미지 정렬을 향상시킨다.
• 두 번의 연속된 역행성 네트워크를 사용하여 전신의 회전을 틀립과 스위프 성분으로 분해함으로써, 해석 가능성성과 모델링 정밀도를 향상시킨다.
• 정방향 및 역방향 방향으로 동시에 INN을 훈련하여, 정방향 운동학의 결정론적 성질을 활용해 학습을 안정화시킨다.
• 추론 중 히트맵 조건을 통합하여 관절점 감독을 더욱 정밀하게 조정하지만, 극심한 겹침 상황에서는 성능이 약간 저하된다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 3D 인간 자세 및 형태 추정에서 높은 픽셀 정렬 정확도와 겹침에 대한 강건성을 동시에 달성할 수 있는가?
• RQ2 역행성 신경망을 어떻게 활용하여 역운동학에서 이중 오차 전파를 모델링함으로써 강건성을 향상시킬 수 있는가?
• RQ3 정방향 과정에서 영점 오차 경계 조건을 강제 적용하면, 강건성을 훼손하지 않고도 메쉬-이미지 정렬을 얼마나 향상시킬 수 있는가?
• RQ4 틀립-스위프 분해는 종단간 회전 예측에 비해 신경 기반 역운동학에서 해석 가능성성과 성능을 향상시키는가?
• RQ5 제안된 방법은 다양한 수준의 겹침, 특히 극단적인 경우에서도 어떻게 성능을 발휘하는가?

주요 결과

• 표준 3DPW 벤치마크에서 NIKI는 71.3 mm MPJPE와 40.6 mm PA-MPJPE를 기록하여 이전 최고 기술을 초월한다.
• 극도로 겹친 3DPW-XOCC 데이터셋에서 NIKI는 110.7 mm MPJPE와 60.5 mm PA-MPJPE를 기록하여 강력한 강건성을 입증한다.
• 3DPW-XOCC에서 메쉬 충돌 비율을 2.6%에서 1.0%로 감소시켜 더 타당하고 현실적인 재구성을 보여준다.
• 중간 수준의 겹침(20–30%)에서 NIKI는 PARE 대비 13.3 mm MPJPE 향상으로 현실적인 겹침 상황에서의 효과성을 입증한다.
• 낮은 겹침 수준(0–10%)에서는 6.5 mm MPJPE 향상, 높은 겹침 수준(70–80%)에서는 10.2 mm 유지로 일관된 성능을 보여, 다양한 겹침 강도에서의 안정성을 확인한다.
• 히트맵 조건을 추가했음에도 불구하고, 3DPW-XOCC에서 성능이 약간 저하됨을 확인하여, 극심한 겹침 상황에서는 히트맵 감독이 덜 신뢰할 수 있음을 시사한다.