[논문 리뷰] Not All Parts Are Created Equal: 3D Pose Estimation by Modelling Bi-directional Dependencies of Body Parts

Jue Wang, Shaoli Huang외 2명|arXiv (Cornell University)|2019. 05. 20.

Human Pose and Action Recognition참고 문헌 43인용 수 14

한 줄 요약

이 논문은 신체 부위의 자유도(DOF) 기반으로 이중 방향성 의존성을 모델링하는 새로운 3차원 인간 자세 추정 방법을 제안한다. 고자기도 자유도(DOF) 관절(예: 팔꿈치)을 저자기도 자유도 관절(예: 허리)에 의존시키며, 동시에 그 반대 방향으로도 제약을 가하는 방식으로, 물리적 타당성을 향상시킨다. 또한 고도의 정확도를 달성하기 위해 허리에 대한 상대적 관절 위치(앞/뒤/평면상)를 예측하는 자세 특성 예측 헤드를 도입하여, 사지 추정 정확도를 크게 향상시키고, Human3.6M 및 MPI-INF-3DHP 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Not all the human body parts have the same~degree of freedom~(DOF) due to the physiological structure. For example, the limbs may move more flexibly and freely than the torso does. Most of the existing 3D pose estimation methods, despite the very promising results achieved, treat the body joints equally and consequently often lead to larger reconstruction errors on the limbs. In this paper, we propose a progressive approach that explicitly accounts for the distinct DOFs among the body parts. We model parts with higher DOFs like the elbows, as dependent components of the corresponding parts with lower DOFs like the torso, of which the 3D locations can be more reliably estimated. Meanwhile, the high-DOF parts may, in turn, impose a constraint on where the low-DOF ones lie. As a result, parts with different DOFs supervise one another, yielding physically constrained and plausible pose-estimation results. To further facilitate the prediction of the high-DOF parts, we introduce a pose-attribute estimation, where the relative location of a limb joint with respect to the torso, which has the least DOF of a human body, is explicitly estimated and further fed to the joint-estimation module. The proposed approach achieves very promising results, outperforming the state of the art on several benchmarks.

연구 동기 및 목표

• 기존 3차원 자세 추정 방법이 자유도(DOF)가 다른 신체 관절을 동일하게 취급하는 한계를 해결하기 위해.
• 허리와 같은 안정적인 저자기도 부위에 의존하는 고자기도 사지의 재구성 오차를 줄이기 위해 명시적인 의존성 모델링을 수행하기 위해.
• 허리에 대한 상대적 관절 위치를 인코딩하는 신뢰할 수 있는 다중 클래스 자세 특성 도입을 통해 3차원 자세 추정 정확도를 향상시키기 위해.
• 3D 애너테이션 또는 자세 특성 감독 없이도 비감독적 도메인 적응을 통해 실외 이미지에 대한 강건한 일반화를 가능하게 하기 위해.

제안 방법

• 신체 부위를 세 가지 자유도 수준으로 분류: 허리(가장 낮은 DOF), 근위 사지(예: 어깨, 팔꿈치, 무릎), 원위 사지(예: 손목, 발목).
• 고자기도 관절을 저자기도 부위에 의존시키는 방식으로 점진적이고 이중 방향성 의존성을 모델링하며, 양방향에서 상호로 감독하여 물리적 타당성을 향상시킨다.
• 각 사지 관절에 대해 2D 관절 위치와 함께 세 클래스 자세 특성(앞, 뒤, 평면상)을 동시에 예측하는 다중 작업 네트워크를 도입하여 강력한 공간 사전 지식을 제공한다.
• 예측된 자세 특성을 3차원 자세 추정 네트워크의 입력으로 사용하여, 오차 전파를 줄이기 위해 회귀 기반의 깊이 추정을 대체한다.
• 두 단계 프레임워크를 사용: 먼저 2D 자세와 자세 특성을 추정하고, 이후 의존성 모델링을 통해 3차원 자세를 정밀하게 보정한다.
• 비감독적 도메인 적응을 적용하여, 3D 애너테이션 또는 자세 특성 레이블이 없는 실외 이미지로 모델을 전이한다.

실험 결과

연구 질문

• RQ1 다른 자유도 수준을 가진 신체 부위 간의 이중 방향성 의존성 모델링이 고자기도 사지의 경우에 특히 3차원 자세 추정 정확도 향상에 기여하는가?
• RQ2 허리에 대한 상대적 위치를 나타내는 이산형 자세 특성 예측이, 3차원 자세 보정에 있어 회귀 기반 깊이 추정보다 더 신뢰할 수 있고 효과적인 사전 지식을 제공하는가?
• RQ3 제안된 방법은 3D 애너테이션이 없는 실외 이미지와 같은 새로운 도메인으로 일반화되는 데 얼마나 효과적인가?
• RQ4 특히 손목과 발목과 같은 도전적인 관절에서 자세 특성 구성 요소가 성능 향상에 얼마나 기여하는가?
• RQ5 도메인 특화 학습 데이터에 의존하지 않고도, Human3.6M 및 MPI-INF-3DHP와 같은 표준 벤치마크에서 최신 기술(SOTA) 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 Human3.6M 데이터셋에서 이전 최신 기술(SOTA) 방법을 능가하여, 프로토콜 #1 하에서 평균 관절 오차 52.6 mm를 기록했으며, 기준선 대비 뚜렷한 향상이 있었다.
• MPI-INF-3DHP 벤치마크에서 71.9%의 3DPCK와 35.8의 AUC를 달성하여 기존 방법을 초월하며, 강력한 도메인 간 일반화 능력을 입증했다.
• 제거 실험을 통해 자세 특성 구성 요소가 손목 관절에서 최대 10.4 mm, 발목 관절에서 최대 6.6 mm의 오차 감소를 이끌어내어 그 효과를 입증했다.
• 이중 방향성 의존성 모델링만으로도 기준선 대비 평균 1.4 mm의 오차 감소를 기록하여 성능 향상에 직접 기여함을 보여주었다.
• 3D 애너테이션 또는 자세 특성 감독 없이도 비감독적 도메인 적응을 통해 실외 이미지로의 일반화가 잘 이루어져 강력한 성능 유지를 유지했다.