[논문 리뷰] A Dual-Source Approach for 3D Human Pose Estimation from a Single Image

Umar Iqbal, Andreas Doering외 4명|arXiv (Cornell University)|2017. 05. 08.

Human Pose and Action Recognition참고 문헌 36인용 수 6

한 줄 요약

이 논문은 2D 자세 레이블이 부여된 이미지와 3D 운동 캡처 데이터를 결합하여, 쌍화된 2D-3D 학습 데이터가 필요 없이 단일 이미지에서 3D 인간 자세 추정을 수행하는 이중 소스 접근법을 제안한다. 이미지에서 2D 자세 추정을 수행하고 운동 캡처 데이터베이스에서 3D 자세를 최근접 이웃 검색을 통해 추출함으로써, 감독 정보가 제한된 조건에서도 최신 기술 수준의 성능을 달성하며, 소스 간 뼈대 구조의 상당한 차이에도 불구하고 강건성을 확보한다.

ABSTRACT

In this work we address the challenging problem of 3D human pose estimation from single images. Recent approaches learn deep neural networks to regress 3D pose directly from images. One major challenge for such methods, however, is the collection of training data. Specifically, collecting large amounts of training data containing unconstrained images annotated with accurate 3D poses is infeasible. We therefore propose to use two independent training sources. The first source consists of accurate 3D motion capture data, and the second source consists of unconstrained images with annotated 2D poses. To integrate both sources, we propose a dual-source approach that combines 2D pose estimation with efficient 3D pose retrieval. To this end, we first convert the motion capture data into a normalized 2D pose space, and separately learn a 2D pose estimation model from the image data. During inference, we estimate the 2D pose and efficiently retrieve the nearest 3D poses. We then jointly estimate a mapping from the 3D pose space to the image and reconstruct the 3D pose. We provide a comprehensive evaluation of the proposed method and experimentally demonstrate the effectiveness of our approach, even when the skeleton structures of the two sources differ substantially.

연구 동기 및 목표

• 단일 이미지에서 3D 인간 자세 추정을 위한 대규모 쌍화된 2D 이미지와 정확한 3D 자세를 갖춘 학습 데이터 확보의 과제를 해결하기 위해.
• 비용이 많이 들고 쌍화된 2D-3D 데이터셋에 의존하는 것을 줄이기 위해, 3D 운동 캡처 데이터와 2D 자세 레이블이 부여된 이미지와 같은 두 가지 독립적인 데이터 소스를 활용하기 위해.
• 깊이 센서나 다중 시점 설정이 불가능한 비구속적 실세계 환경에서 정확한 3D 자세 추정을 가능하게 하기 위해.
• 운동 캡처 데이터와 이미지 기반 자세 데이터셋 간 뼈대 구조의 차이(예: 다른 관절 구성)에 대해 강건한 방법을 개발하기 위해.

제안 방법

• 가상 카메라 투영을 통해 3D 운동 캡처 데이터를 정규화된 2D 자세 공간으로 매핑하여 3D-2D 대응 관계를 생성한다.
• MPII, Leeds Sports, MSCOCO 등의 데이터셋을 사용하여, 비구속적 이미지에서 2D 자세를 추정하는 딥 컨volution 신경망을 학습한다.
• 추론 단계에서 추정된 2D 자세를 기반으로 강력한 유사도 측정 기준을 사용해 운동 캡처 데이터베이스에서 가장 가까운 3D 자세를 검색한다.
• 3D 자세 공간에서 영상 공간으로의 공동 투영 매핑을 학습하여 2D 추정 기반으로 3D 자세 복원을 정밀하게 보정한다.
• 선형 회귀를 통해 뼈대 리타겟팅을 적용하여 운동 캡처 데이터와 이미지 기반 자세 데이터셋 간의 다른 관절 구조를 정렬한다.
• 쌍화된 2D-3D 데이터에 대한 엔드 투 엔드 학습을 피하고, 두 데이터 소스를 별도로 처리함으로써 약한 감독을 활용한다.

실험 결과

연구 질문

• RQ1 쌍화된 2D-3D 학습 예제가 필요 없이, 오직 3D 운동 캡처 데이터와 2D 자세 레이블이 부여된 이미지만을 사용하여 3D 인간 자세 추정을 효과적으로 수행할 수 있는가?
• RQ2 운동 캡처 데이터와 이미지 기반 자세 데이터셋 간 뼈대 구조가 다를 경우, 이 방법의 성능는 어떻게 변하는가?
• RQ3 2D 자세 추정기의 정확도가 최종 3D 자세 추정 성능에 얼마나 큰 영향을 미치는가?
• RQ4 추론 단계에서 2D 자세 추정 오류가 발생할 경우, 이 방법의 강건성은 어느 정도인가?
• RQ5 학습 중에 보지 못한 비구속적 실세계 이미지에 대해 이 방법이 잘 일반화되는가?

주요 결과

• HumanEva-I 데이터셋에서 HumanEva 운동 캡처 데이터를 사용할 경우, 평균 3D 자세 오차가 31.5 mm로, 대부분의 이전 방법보다 뛰어난 성능을 달성한다.
• CMU 운동 캡처 데이터를 사용할 경우 오차는 80.0 mm였지만, CMU 뼈대를 HumanEva 뼈대로 리타겟팅하면 오차가 50.5 mm로 감소하여 뼈대 차이의 영향을 입증한다.
• HumanEva-I에서 평균 오차 31.5 mm를 기록하며, 쌍화된 2D-3D 데이터를 완전히 감독받는 딥 러닝 방법 두 가지를 제외한 모든 이전 방법보다 뛰어난 성능을 보였다.
• 2D 자세 추정 성능이 향상되면, 방법을 크게 단순화해도 높은 성능 유지가 가능하여 최신 2D 자세 모델과 강력한 상호보완성을 보였다.
• MPII Human Pose 데이터셋에서의 정성적 결과는 이 방법이 복잡한 비구속적 실세계 이미지로도 잘 일반화됨을 확인한다.
• 제거 분석 결과, 이중 소스 접근법이 2D 자세 추정 오차의 변동성과 뼈대 구조 불일치에 대해 강건함을 입증한다.