[논문 리뷰] Unsupervised 3D Pose Estimation with Geometric Self-Supervision

Ching-Hang Chen, Ambrish Tyagi외 5명|arXiv (Cornell University)|2019. 04. 09.

Human Pose and Action Recognition참고 문헌 57인용 수 19

한 줄 요약

이 논문은 3D 데이터, 2D-3D 대응 관계, 3D 사전 지식을 요구하지 않고도 기하학적 자기지도학습을 통해 2D 관절 좌표를 3D로 올리는 비지도 3D 인간 자세 추정 방법을 제안한다. 리프팅, 임의의 재투영, 재리프팅을 통해 일관성을 강제함으로써, Human3.6M에서 이전의 비지도 방법 대비 30% 향상된 성능을 달성하고, 5%의 3D 데이터로 미세조정할 경우 완전히 지도 학습된 성능을 달성한다.

ABSTRACT

We present an unsupervised learning approach to recover 3D human pose from 2D skeletal joints extracted from a single image. Our method does not require any multi-view image data, 3D skeletons, correspondences between 2D-3D points, or use previously learned 3D priors during training. A lifting network accepts 2D landmarks as inputs and generates a corresponding 3D skeleton estimate. During training, the recovered 3D skeleton is reprojected on random camera viewpoints to generate new "synthetic" 2D poses. By lifting the synthetic 2D poses back to 3D and re-projecting them in the original camera view, we can define self-consistency loss both in 3D and in 2D. The training can thus be self supervised by exploiting the geometric self-consistency of the lift-reproject-lift process. We show that self-consistency alone is not sufficient to generate realistic skeletons, however adding a 2D pose discriminator enables the lifter to output valid 3D poses. Additionally, to learn from 2D poses "in the wild", we train an unsupervised 2D domain adapter network to allow for an expansion of 2D data. This improves results and demonstrates the usefulness of 2D pose data for unsupervised 3D lifting. Results on Human3.6M dataset for 3D human pose estimation demonstrate that our approach improves upon the previous unsupervised methods by 30% and outperforms many weakly supervised approaches that explicitly use 3D data.

연구 동기 및 목표

• 3D 지도 학습, 3D 사전 지식, 다중 시점 데이터 없이도 2D 관절에서 3D 자세 추정을 가능하게 하기 위해.
• 임의의 카메라 시점에서의 3D 리프팅과 재투영의 기하학적 일관성에 기반한 자기지도학습 훈련 프레임워크 개발을 위해.
• 다양한 도메인(예: 영상, 이미지)의 2D 자세 데이터를 비지도 도메인 적응을 통해 2D 키포인트 표현을 정렬함으로써 일반화를 가능하게 하기 위해.
• 기하학적 자기지도학습과 2D 자세 판별자 조합을 통해 3D 자세 예측의 강건성과 현실감을 향상시키기 위해.
• 비지도 3D 리프팅이 오직 2D 데이터만을 사용함에도 불구하고 약간의 지도 학습 및 완전히 지도 학습된 방법과 비교해 유사한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 리프팅 네트워크는 딥 네ural 네트워크를 사용하여 2D 관절 좌표를 3D 스켈레톤으로 매핑한다.
• 3D 스켈레톤을 임의의 카메라 시점에 재투영하여 합성 2D 자세를 생성함으로써 기하학적 자기지도학습을 강제한다.
• 합성 2D 자세는 다시 3D로 리프팅되며, 이로 생성된 3D 출력을 원래 리프팅된 3D 스켈레톤과 비교하여 자기 일관성 손실를 계산한다.
• 실제 2D 자세와 재투영된 합성 2D 자세를 구분할 수 있도록 2D 자세 판별자를 훈련시켜, 3D 출력의 현실감을 향상시키는 피드백을 제공한다.
• 지식 기반 대응 관계 없이 2D 키포인트 분포를 다양한 데이터셋 간에 정렬하는 비지도 2D 도메인 어댑터 네트워크를 훈련시킨다.
• 영상 데이터가 이용 가능한 경우, 실재와 가짜 자세 시퀀스를 구분하는 시간적 판별자를 통해 시간적 일관성을 추가로 활용함으로써 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 지도 학습 없이 기하학적 일관성만으로 2D 관절에서 정확한 3D 자세를 추정할 수 있는가?
• RQ2 기하학적 자기지도학습만으로도 현실적인 3D 자세를 생성할 수 있는가, 아니면 추가적인 정규화 신호가 필요한가?
• RQ3 다양한 출처(예: 영상, 이미지)의 2D 자세 데이터를 비지도 방식으로 효과적으로 활용할 수 있는가?
• RQ4 영상 시퀀스의 시간적 일관성을 통합할 경우 비지도 3D 자세 추정기의 성능에 어떤 영향을 미치는가?
• RQ5 3D 애노테이션이 없는 데이터셋(예: MPII, LSP)에 대해 훈련된 바 없는 모델도 일반화가 가능한가?

주요 결과

• 제안된 방법은 이전 비지도 방법 대비 Human3.6M 데이터셋에서 비지도 3D 자세 추정 분야의 최신 기술을 30% 향상시켰다.
• Human3.6M의 3D 데이터 중 5%만으로 미세조정한 결과, 평균 관절 위치 오차(MPJPE)가 37mm를 기록하여 완전히 지도 학습된 방법과 동일한 성능을 달성했다.
• MPII 및 LSP와 같은 새로운 데이터셋에 대해 3D 지도 데이터 없이도 효과적으로 일반화되어, 추론 시에도 타당한 3D 자세를 생성했다.
• 2D 자세 판별자를 추가함으로써 생성된 3D 자세의 현실감이 크게 향상되었으며, 기하학적 자기일관성만으로는 현실적인 출력을 도출하기에는 부족함을 확인했다.
• 시간적 판별자를 통해 시간적 일관성을 통합함으로써, 단일 프레임에서 추론하는 경우에도 추가로 7%의 성능 향상을 달성했다.
• 다양한 데이터셋(예: Kinetics)의 2D 자세를 정렬하는 데 도메인 어댑터를 사용함으로써 훈련 데이터의 다양성이 크게 증가하고 일반화 성능이 향상되었다.