[논문 리뷰] End-to-end Recovery of Human Shape and Pose

Angjoo Kanazawa, Michael J. Black외 2명|arXiv (Cornell University)|2017. 12. 18.

Human Pose and Action Recognition인용 수 60

한 줄 요약

하이먼 메쉬 리커버리(HMR)를 제시합니다. 단일 RGB 이미지에서 재투영 손실과 요소화된 적대적 사전(factorized adversarial prior)을 사용하여 전체 3D SMPL 메시를 재구성하는 엔드투엔드 시스템으로, 2D-3D 데이터 쌍이 있어도 없어도 학습 가능하며 실시간으로 동작합니다.

ABSTRACT

We describe Human Mesh Recovery (HMR), an end-to-end framework for reconstructing a full 3D mesh of a human body from a single RGB image. In contrast to most current methods that compute 2D or 3D joint locations, we produce a richer and more useful mesh representation that is parameterized by shape and 3D joint angles. The main objective is to minimize the reprojection loss of keypoints, which allow our model to be trained using images in-the-wild that only have ground truth 2D annotations. However, the reprojection loss alone leaves the model highly under constrained. In this work we address this problem by introducing an adversary trained to tell whether a human body parameter is real or not using a large database of 3D human meshes. We show that HMR can be trained with and without using any paired 2D-to-3D supervision. We do not rely on intermediate 2D keypoint detections and infer 3D pose and shape parameters directly from image pixels. Our model runs in real-time given a bounding box containing the person. We demonstrate our approach on various images in-the-wild and out-perform previous optimization based methods that output 3D meshes and show competitive results on tasks such as 3D joint location estimation and part segmentation.

연구 동기 및 목표

• 단일 뷰의 3D 인체 메시 재구성이 희소한 3D 관절을 넘어선 가치가 있음을 제시한다.
• 이미지 특징으로부터 직접 SMPL 형상과 자세를 회귀하는 엔드투엔드 프레임워크를 개발한다.
• 데이터 기반의 적대적 사전으로 생략된 야외 3D 진실(ground truth)의 부족을 해결한다.
• 실시간 성능과 야외 이미지 및 분할 작업에의 적용 가능성을 시연한다.

제안 방법

• SMPL을 사용하여 체형(shape)과 자세(pose)를 10개의 shape 계수와 3K 포즈 회전으로 매개화한다.
• 이미지 특징에서 85D SMPL 관련 매개변수를 회귀하기 위한 반복적 오차 피드백 루프를 활용한다.
• 출력을 인간 매니폴드에 정규화하도록 형상과 자세에 대한 요소화된 적대적 사전(factorized adversarial prior)을 위한 판별자 네트워크를 학습한다.
• 2D 키포인트 주석에서만의 약한 감독으로 3D 재투영 손실을 최적화하여 2D 키포인트가 투영된 3D 관절과 정렬되도록 한다.
• 가능한 경우(관절 및 SMPL 매개변수) 실제 3D 손실을 도입하여 정확도를 개선한다.
• 약한 감독 하에서 3D 감독이 쌍으로 주어지지 않아도 학습 가능하도록 하며 3D 관절 추정 및 분할 성능을 경쟁력 있게 유지한다.

실험 결과

연구 질문

• RQ1 단일 RGB 이미지로 2D 키포인트 탐지에 의존하지 않고 전체 3D SMPL 메시를 복원할 수 있는가?
• RQ2 데이터 기반의 적대적 사전이 3D 진실이 없을 때 현실적인 3D 인체 메시를 가능하게 하는가?
• RQ3 끝-to-끝 SMPL 매개변수 회귀와 야외 이미지에서의 다단계 3D 자세 추정 방법은 어떤 차이가 있는가?
• RQ4 이 접근법이 실시간 추론에 적합하며 분할과 같은 하류 작업에 유용한가?

주요 결과

• 이 방법은 이미지 특징으로부터 SMPL 형상과 자세를 직접 회귀하여 전체 3D 인체 메시를 얻는다.
• 피드백이 있는 반복적 3D 회귀가 회복 안정성과 정확도를 향상시킨다.
• 형상과 관절 자세 판별기의 분리된 적대적 사전(factorized adversarial prior)은 출력을 인간 매니폴드에 정규화하여 3D 데이터 쌍이 없어도 학습 가능하게 한다.
• 이 접근법은 3D 관절 추정 벤치마크에서 2D 키포인트 기반 방법보다 우수한 성능을 보이며, 3D 관절만 예측하는 방법과도 경쟁력이 있다.
• 사람 바운딩 박스가 주어지면 실시간으로 실행되며 신체 부위 분할과 같은 보조 작업을 지원한다.
• 실험 결과가 3D 감독 없이도 강한 성능을 보이며(HMR 비쌍(unpaired))라는 점을 시사한다.