[논문 리뷰] Learning to Estimate 3D Human Pose and Shape from a Single Color Image

Georgios Pavlakos, Luyang Zhu외 2명|arXiv (Cornell University)|2018. 05. 10.

Human Pose and Action Recognition참고 문헌 52인용 수 22

한 줄 요약

이 논문은 단일 컬러 이미지에서 SMPL 매개변수 기반 신체 모델을 사용하여 세밀한 3D 인간 신체 자세와 형태를 추정하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. ConvNets를 통해 2D 키포인트와 마스크로부터 SMPL 매개변수를 예측하고, 미분 가능 렌더링 및 3D 피크별 손실을 활용하여 엔드 투 엔드 학습을 수행함으로써, 50ms의 추론 시간으로 최신 기술 수준의 성능을 달성한다—기존 반복 최적화 기반 방법보다 3배 이상 빠름.

ABSTRACT

This work addresses the problem of estimating the full body 3D human pose and shape from a single color image. This is a task where iterative optimization-based solutions have typically prevailed, while Convolutional Networks (ConvNets) have suffered because of the lack of training data and their low resolution 3D predictions. Our work aims to bridge this gap and proposes an efficient and effective direct prediction method based on ConvNets. Central part to our approach is the incorporation of a parametric statistical body shape model (SMPL) within our end-to-end framework. This allows us to get very detailed 3D mesh results, while requiring estimation only of a small number of parameters, making it friendly for direct network prediction. Interestingly, we demonstrate that these parameters can be predicted reliably only from 2D keypoints and masks. These are typical outputs of generic 2D human analysis ConvNets, allowing us to relax the massive requirement that images with 3D shape ground truth are available for training. Simultaneously, by maintaining differentiability, at training time we generate the 3D mesh from the estimated parameters and optimize explicitly for the surface using a 3D per-vertex loss. Finally, a differentiable renderer is employed to project the 3D mesh to the image, which enables further refinement of the network, by optimizing for the consistency of the projection with 2D annotations (i.e., 2D keypoints or masks). The proposed approach outperforms previous baselines on this task and offers an attractive solution for direct prediction of 3D shape from a single color image.

연구 동기 및 목표

• 기존에 반복 최적화 방법에 의해 지배되어 온 단일 단일색 이미지에서 전체 3D 인간 신체 자세와 형태를 추정하는 과제를 해결한다.
• 매개변수 기반 신체 모델을 활용하여 ConvNets의 3D 인간 재구성 한계(학습 데이터 부족, 저해상도 3D 예측 등)를 극복한다.
• 학습 중 3D 형태 애너테이션을 요구하지 않고도 직접 3D 예측을 가능하게 하기 위해 2D 감독(키포인트 및 마스크)만을 사용한다.
• 2D 애너테이션과의 일致성을 확보하기 위해 미분 가능 렌더링과 3D 피크별 손실을 도입함으로써 학습 안정성과 정확도를 향상시킨다.
• 직접 예측된 결과가 반복 최적화 방법(예: SMPLify)의 효과적인 초기화 및 锚점으로 기능할 수 있음을 보여주어 수렴 속도를 가속화하고 성능을 향상시킨다.

제안 방법

• SMPL 매개변수 기반 신체 모델을 엔드 투 엔드 딥 러닝 프레임워크에 통합하여 82개의 매개변수(72개 자세 + 10개 형태)로만 3D 인간 형태를 표현한다.
• 두 개의 별도 네트워크를 학습한다: 키포인트 히트맵에서 SMPL 자세 매개변수(θ)를 회귀하는 PosePrior, 실루엣에서 형태 매개변수(β)를 회귀하는 ShapePrior.
• 예측된 3D 메시를 다시 2D 이미지 공간으로 투영하기 위해 미분 가능 렌더러를 사용하여 2D 키포인트 및 마스크 일치도를 통한 감독을 가능하게 한다.
• 예측된 3D 메시와 진짜 3D 메시 사이의 피크별 오차를 최소화하기 위해 3D 피크별 손실을 최적화하여 표면 수준의 정확도를 향상시킨다.
• 2D 감독(키포인트, 마스크)과 3D 감독(피크별 손실)을 모두 사용하여 엔드 투 엔드 미세조정을 수행함으로써 3D 형태 애너테이션 없이도 강력한 일반화 성능을 달성한다.
• 예측된 3D 자세를 SMPLify 최적화 파이프라인의 초기값으로 사용하여 수렴 속도를 가속화하고 적합도 품질을 향상시키며, 자세 정규화 항목 E_anchor(θ)를 도입한다.

실험 결과

연구 질문

• RQ1 3D 형태 애너테이션을 요구하지 않고도 딥 컨볼루션 네트워크가 단일 컬러 이미지에서 세밀한 3D 인간 신체 자세와 형태를 직접 예측할 수 있는가?
• RQ2 2D 감독(키포인트 및 마스크)이 3D SMPL 매개변수를 정확하게 예측할 수 있도록 네트워크를 학습하는 데 얼마나 충분한가?
• RQ3 미분 가능 렌더링과 3D 피크별 손실을 통합함으로써 3D 인간 재구성의 품질과 일반화 능력은 어떻게 향상되는가?
• RQ4 네트워크에서 직접 예측된 3D 자세가 SMPLify와 같은 반복 최적화 방법의 효과적인 초기화로 기능할 수 있는가?
• RQ5 반복 최적화를 직접 딥 러닝 접근법으로 대체할 경우 정확도와 추론 속도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 방법은 3D 인간 자세 및 형태 추정 벤치마크 데이터셋에서 최신 기술 수준의 성능를 달성하여 직접 예측 및 반복 최적화 기반 기준을 모두 능가한다.
• Titan X GPU에서 50ms 내로 실행되며, 기존 반복 최적화 기반 SMPLify(1~3분/이미지)에 비해 3개 이상의 지수 차수 빠른 속도 향상을 보였다.
• SMPLify의 초기값으로 사용되었을 때, 분할 정확도가 향상되었으며(f1 점수: 64.62 vs. 63.98), 런타임이 3배 감소하였다.
• 초기값이 부여된 SMPLify는 LSP 테스트 세트에서 배경 제거 정확도 92.17%와 f1 점수 64.62%를 달성하여 진짜 2D 애너테이션을 사용한 SMPLify의 성능에 근접하였다.
• 학습 중 3D 피크별 손실을 사용함으로써 표준 3D 평가 지표와의 상관관계가 떨어지는 단순 매개변수 회귀보다 향상된 결과를 도출하였다.
• 3D 형태 진짜값이 필요 없이 2D 키포인트 및 마스크 애너테이션만으로도 엔드 투 엔드 학습이 가능해져 데이터 의존도를 크게 감소시켰다.