[논문 리뷰] Generalizing Monocular 3D Human Pose Estimation in the Wild

Luyang Wang, Yan Chen외 5명|arXiv (Cornell University)|2019. 04. 11.

Human Pose and Action Recognition참고 문헌 50인용 수 6

한 줄 요약

이 논문은 스테레오 기반 신경망과 기하학적 정밀 조정을 통해 실외 환경 이미지에서 고품질 3D 인간 자세 레이블을 생성하는 방법을 제안한다. 이를 통해 정확한 3D 애너테이션을 갖춘 40만 장의 이미지로 구성된 대규모 데이터셋을 구축할 수 있었으며, 이 데이터셋으로 훈련된 기준 모델은 실제 이미지에서 일반화 성능이 크게 향상되어 정량적 평가 및 동작 분류 과제에서 최신 기술을 능가한다.

ABSTRACT

The availability of the large-scale labeled 3D poses in the Human3.6M dataset plays an important role in advancing the algorithms for 3D human pose estimation from a still image. We observe that recent innovation in this area mainly focuses on new techniques that explicitly address the generalization issue when using this dataset, because this database is constructed in a highly controlled environment with limited human subjects and background variations. Despite such efforts, we can show that the results of the current methods are still error-prone especially when tested against the images taken in-the-wild. In this paper, we aim to tackle this problem from a different perspective. We propose a principled approach to generate high quality 3D pose ground truth given any in-the-wild image with a person inside. We achieve this by first devising a novel stereo inspired neural network to directly map any 2D pose to high quality 3D counterpart. We then perform a carefully designed geometric searching scheme to further refine the joints. Based on this scheme, we build a large-scale dataset with 400,000 in-the-wild images and their corresponding 3D pose ground truth. This enables the training of a high quality neural network model, without specialized training scheme and auxiliary loss function, which performs favorably against the state-of-the-art 3D pose estimation methods. We also evaluate the generalization ability of our model both quantitatively and qualitatively. Results show that our approach convincingly outperforms the previous methods. We make our dataset and code publicly available.

연구 동기 및 목표

• 제어된 데이터셋(예: Human3.6M)에서 훈련된 3D 인간 자세 추정 모델이 실외 이미지에 적용되었을 때의 낮은 일반화 성능 문제를 해결하기 위해.
• 수동 애너테이션에 의존하지 않고도 실외 이미지에서 고품질 3D 자세 진짜값을 생성할 수 있는 체계적인 방법을 개발하기 위해.
• 강건한 3D 자세 추정 모델을 훈련하기 위해 대규모이고 다양한 실외 3D 자세 데이터셋을 구축하기 위해.
• 훈련된 모델의 일반화 성능을 실제 벤치마크와 동작 분류와 같은 후행 과제에서 평가하기 위해.
• 스테레오 기반 접근 방식을 통해 생성된 합성 3D 레이블로 훈련하면 기존 방법보다 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 좌측 시점에서의 2D 자세를 기반으로 가짜 오른쪽 시점을 합성하여 단일 시점의 2D 자세를 고품질 3D 자세로 매핑하는 스테레오 기반 신경망을 설계하였다.
• 3D 자세 복원 하위 네트워크는 합성된 시점들에서 유도된 다중 시점 2D 자세를 이용해 굵은 3D 인간 자세를 추정한다.
• 물리적 타당성과 관절 일관성을 강제함으로써 초기 3D 자세 예측값을 기하학적 검색 기반으로 정밀 조정한다.
• 3D 레이블 생성기로 기존 2D 자세 데이터셋에서 40만 장 이상의 실외 이미지에 대해 자동으로 3D 애너테이션을 생성하였다.
• 보조 손실이나 특수 훈련 기법 없이, 새로 생성된 실외 3D 데이터셋 전용으로 기준 3D 자세 추정 네트워크를 훈련시켰다.
• 일반화 성능 평가를 위해 Zero-shot 전이 방식으로 MPI-INF-3DHP에 적용하였으며, 예측된 3D 관절을 입력으로 사용해 Penn Action에서 동작 분류를 수행하였다.

실험 결과

연구 질문

• RQ1 수동 애너테이션 없이 딥 러닝 기반 방법이 실외 이미지에 대해 정확한 3D 인간 자세 레이블을 생성할 수 있는가?
• RQ2 자동으로 생성된 실외 3D 레이블로 훈련된 3D 자세 추정기 모델이 실제 이미지에서 일반화 성능을 향상시키는가?
• RQ3 합성된 실외 3D 데이터로 훈련된 모델의 성능이 Human3.6M 및 MPI-INF-3DHP와 같은 벤치마크에서 최신 기술과 비교해 어떻게 되는가?
• RQ4 제안된 방법으로 예측된 3D 자세가 동작 분류와 같은 후행 과제에서 얼마나 잘 지원되는가?
• RQ5 기하학적 정밀 조정이 도전적인 제약 없는 환경에서 3D 자세 추정 정확도를 크게 향상시키는가?

주요 결과

• 제안된 3D 레이블 생성기는 실외 이미지에 대해 고품질의 3D 자세를 생성할 수 있었으며, 정확한 3D 애너테이션을 갖춘 40만 장의 이미지로 구성된 대규모 데이터셋을 구축하는 데 성공하였다.
• 새로운 데이터셋으로 훈련된 기준 모델은 Human3.6M 벤치마크에서 PCK 점수 58.0을 기록하여 이전의 방법들인 Zhou et al. [47] (64.9) 및 Yang et al. [44] (59.7)를 초월하였다.
• MPI-INF-3DHP 데이터셋에서 모델은 AUC 33.8과 PCK 71.2를 기록하였으며, Zhou et al. [47] (32.5 AUC, 69.2 PCK) 및 Yang et al. [44] (32.0 AUC, 69.0 PCK)를 모두 뛰어넘었다.
• Penn Action 데이터셋에서의 동작 분류 과제에서, 예측된 3D 관절을 사용한 모델은 93%의 정확도를 기록하였으며, Zhou et al. [47]의 80%에 비해 뚜렷하게 높았다.
• 정성적 결과 분석을 통해 모델이 기울어짐, 구부정함, 점프와 같은 어려운 자세에 대해 잘 일반화되며, 기준 방법보다 더 현실적인 깊이 변화를 보였다.
• 기하학적 정밀 조정 단계는 3D 관절 일관성을 크게 향상시키고 깊이의 모호성을 줄였으며, 후행 과제 성능 향상과 시각화 결과를 통해 이를 입증하였다.