[논문 리뷰] AbsPoseLifter: Absolute 3D Human Pose Lifting Network from a Single Noisy 2D Human Pose

Ju Yong Chang, Gyeongsik Moon외 1명|arXiv (Cornell University)|2019. 10. 26.

Human Pose and Action Recognition참고 문헌 46인용 수 13

한 줄 요약

이 논문은 단일 노이즈가 있는 2D 인간 자세를 카메라 좌표계에서 절대 3D 자세로 복원하는 딥러닝 네트워크인 PoseLifter를 제안한다. 학습 중에 실제 2D 자세 오차를 활용함으로써, 공개 벤치마크에서 2D에서 3D로의 자세 복원 및 단일 이미지 3D 인간 자세 추정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This study presents a new network (i.e., PoseLifter) that can lift a 2D human pose to an absolute 3D pose in a camera coordinate system. The proposed network estimates the absolute 3D location of a target subject and generates an improved 3D relative pose estimation compared with existing pose-lifting methods. Using the PoseLifter with a 2D pose estimator in a cascade fashion can estimate a 3D human pose from a single RGB image. In this case, we empirically prove that using realistic 2D poses synthesized with the real error distribution of 2D body joints considerably improves the performance of our PoseLifter. The proposed method is applied to public datasets to achieve state-of-the-art 2D-to-3D pose lifting and 3D human pose estimation.

연구 동기 및 목표

• 단일 RGB 이미지에서 카메라 좌표계에서 절대 3D 자세로의 2D 인간 자세 복원 문제를 해결하기 위해.
• 2D 관절 예측에서의 현실적인 노이즈 분포를 모델링하여 3D 자세 추정 정확도를 향상시키기 위해.
• 내재된 오차가 있는 실세계 2D 자세 출력에 잘 일반화되는 방법을 개발하기 위해.
• 2D에서 3D로의 자세 복원 및 엔드 투 엔드 3D 인간 자세 추정에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 네트워크는 단일 2D 자세 입력으로부터 카메라 좌표계 내 절대 3D 관절 위치를 예측하도록 엔드 투 엔드로 훈련된다.
• 실제 2D 관절 추정기와 유사한 노이즈 분포를 가진 2D 자세를 합성하는 새로운 훈련 전략을 적용한다.
• 상대 3D 자세 추정을 절대 3D 좌표로 정밀하게 보정하기 위해 2D 자세 인코더와 3D 자세 디코더를 조합한 아키텍처를 사용한다.
• 2D 자세 추정기와 함께 계단식 설정을 사용하며, 훈련 중 2D 출력에 현실적인 노이즈를 추가한다.
• 3D 관절 회귀 손실과 기하학적 일致성 정규화를 조합하여 네트워크를 최적화한다.

실험 결과

연구 질문

• RQ1 실제 2D 자세 출력의 현실적인 노이즈 분포에 일반화되는 2D에서 3D로의 자세 복원 네트워크는 가능한가?
• RQ2 실제 오차 패턴을 모방하는 합성 2D 자세로 훈련하면 절대 3D 자세 추정 성능이 향상되는가?
• RQ3 제안된 방법이 단일 이미지 3D 인간 자세 추정에서 최신 기술 수준의 결과를 달성할 수 있는가?
• RQ4 네트워크의 절대 3D 자세 예측 능력은 상대 자세 복원 기반 방법과 비교해 어떻게 다른가?

주요 결과

• 제안된 PoseLifter는 공개된 2D에서 3D로의 자세 복원 벤치마크에서 최신 기술 수준의 성능를 달성한다.
• 실제 오차 분포를 가진 2D 자세를 합성하여 사용하면 네트워크의 일반화 능력과 최종 3D 자세 정확도가 크게 향상된다.
• 특히 노이즈가 있는 2D 입력 상황에서 기존의 자세 복원 접근법보다 절대 3D 자세 추정 성능에서 뛰어난 성능를 보인다.
• 2D 자세 추정기와 PoseLifter를 조합한 계단식 설정은 단일 RGB 이미지에서 엔드 투 엔드 3D 인간 자세 추정을 가능하게 한다.