[논문 리뷰] DenseRaC: Joint 3D Pose and Shape Estimation by Dense Render-and-Compare

Yuanlu Xu, Song‐Chun Zhu외 1명|arXiv (Cornell University)|2019. 09. 30.

Human Pose and Action Recognition참고 문헌 64인용 수 16

한 줄 요약

DenseRaC는 입력 이미지와 렌더링된 출력 간의 차이를 최소화하기 위해 중간 표현으로 IUV(픽셀-표면 대응 맵)를 사용하고, 밀도 높은 렌더링-비교 손실을 적용하는 일체형 프레임워크로서 단일 RGB 이미지에서 3D 인간 자세 및 형태 추정을 수행한다. MOCA라는 대규모 합성 데이터셋을 활용하고 3D 재구성, 특징점 재투영, 파트 분할, 적대적 손실을 공동 최적화함으로써 여러 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We present DenseRaC, a novel end-to-end framework for jointly estimating 3D human pose and body shape from a monocular RGB image. Our two-step framework takes the body pixel-to-surface correspondence map (i.e., IUV map) as proxy representation and then performs estimation of parameterized human pose and shape. Specifically, given an estimated IUV map, we develop a deep neural network optimizing 3D body reconstruction losses and further integrating a render-and-compare scheme to minimize differences between the input and the rendered output, i.e., dense body landmarks, body part masks, and adversarial priors. To boost learning, we further construct a large-scale synthetic dataset (MOCA) utilizing web-crawled Mocap sequences, 3D scans and animations. The generated data covers diversified camera views, human actions and body shapes, and is paired with full ground truth. Our model jointly learns to represent the 3D human body from hybrid datasets, mitigating the problem of unpaired training data. Our experiments show that DenseRaC obtains superior performance against state of the art on public benchmarks of various humanrelated tasks.

연구 동기 및 목표

• 제한된 감독 신호 하에 단일 RGB 이미지에서 3D 인간 자세 및 신체 형태를 추정하는 데 도전한다.
• 밀도 높은 픽셀 수준의 표현을 통해 단일 시점 입력의 모호함, 가림, 질감 변동성을 극복한다.
• IUV 맵과 렌더링-비교를 통한 밀도 높은 감독을 통합하여 희소한 2D/3D 특징점 애너테이션에 대한 의존도를 줄인다.
• 다양한 자세, 체형, 카메라 시점이 포함된 대규모 합성 데이터셋(MOCA)을 활용하여 정확도와 일반화 능력을 향상시킨다.
• 3D 재구성, 자세, 체형, 의미적 분할을 공동 최적화하는 일체형 학습을 가능하게 한다.

제안 방법

• 두 단계 프레임워크를 활용한다: 첫 번째로 DensePose-RCNN를 사용해 RGB 이미지에서 IUV 맵을 추정하고, 두 번째로 IUV 맵에서 3D 자세 및 형태를 회귀한다.
• 3D 특징점, 신체 부위 마스크, 렌더링된 이미지를 포함한 밀도 높은 출력을 생성하는 가역 렌더러를 도입한다.
• 입력 RGB 이미지와 렌더링된 출력 간의 픽셀 수준 차이를 최소화하기 위해 밀도 높은 렌더링-비교 손실을 적용한다.
• 다양한 손실 항목을 최적화한다: 3D 재구성 손실(ℒ𝑟𝑟𝑟𝑟𝑟𝑟), 특징점 재투영 손실(ℒ𝑟𝑟𝑟𝑟𝑟𝑟), 파트 분할 손실(ℒ𝑚𝑚𝑚𝑚𝑚), 그리고 불가능한 구성에 대해 적용하는 적대적 손실(ℒ𝑎𝑎𝑎𝑎𝑎𝑎).
• 웹 크롤링된 모션 캡처 시퀀스, 3D 스캔, 애니메이션에서 유래한 대규모 합성 데이터셋(MOCA)을 활용해 실재 데이터의 사전 훈련 및 증강을 수행한다.
• 공유 가중치와 일체형 훈련을 통해 기하학적 및 외관 일관성을 유지하면서 SMPL 매개변수(θ, β, α)를 공동 회귀한다.

실험 결과

연구 질문

• RQ1 IUV 맵과 같은 밀도 높은 픽셀 수준 표현은 희소한 특징점 감독에 비해 3D 인간 신체 재구성 성능을 향상시킬 수 있는가?
• RQ2 밀도 높은 출력(특징점, 마스크, 렌더링된 이미지) 기반의 렌더링-비교 방식이 더 현실적이고 정확한 3D 재구성을 이끌 수 있는가?
• RQ3 합성 데이터(MOCA)는 3D 인간 추정에서 비일치하거나 약한 감독을 받는 실재 데이터의 과제를 어느 정도 완화할 수 있는가?
• RQ4 다양한 손실 구성 요소(재구성, 재투영, 분할, 적대적)가 최종 성능에 기여하는 정도는 어떠한가?
• RQ5 이 프레임워크는 가림, 다양한 의복, 다수의 인물이 포함된 실외 이미지에 일반화될 수 있는가?

주요 결과

• DenseRaC는 여러 벤치마크에서 3D 자세 추정, 의미적 신체 분할, 3D 신체 재구성 분야에서 최신 기술 수준(SOTA) 성능을 달성한다.
• H3.6M 벤치마크에서 DenseRaC는 평균 MPVPE 58.2 mm를 기록하여 HMR 및 기타 SOTA 방법을 능가한다.
• MOCA 합성 데이터셋에서 DenseRaC는 평균 MPVPE 48.7 mm를 기록하여 강력한 일반화 능력과 내구성을 입증한다.
• 절단 실험 결과, 밀도 높은 렌더링-비교 손실이 희소한 특징점 감독보다 더 많은 기여를 하여 부자연스러운 신체 구성의 수를 감소시킨다.
• 정성적 결과에서는 DenseRaC가 HMR, NBF, BodyNet에 비해 특히 가림이나 두꺼운 옷을 입은 경우 더 자연스럽고 현실적인 3D 신체를 생성함을 보여준다.
• 재구성된 3D 신체에 대해 연속적인 옷 입히기 시뮬레이션을 가능하게 하여, 시각적 품질에서 종단 간 볼륨 재구성 방법을 능가한다.