[논문 리뷰] Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing

Thiemo Alldieck, Mihai Zanfir외 1명|arXiv (Cornell University)|2022. 04. 19.

3D Shape Modeling and Analysis인용 수 8

한 줄 요약

PHORHUM는 옷을 입은 인간의 실사적 단일 뷰 3D 재구성용 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 이는 서피스의 정밀한 부호 거리 기하학, 알베도, 조명 및 환경 조명을 동시에 예측한다. 이미지 매트링이나 다단계 파이프라인을 요구하지 않으며, 영역의 시야 및 자기 음영 영역에서의 시각적 색상 정확도를 크게 향상시키는 패치 기반 渲染 손실을 도입함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present PHORHUM, a novel, end-to-end trainable, deep neural network methodology for photorealistic 3D human reconstruction given just a monocular RGB image. Our pixel-aligned method estimates detailed 3D geometry and, for the first time, the unshaded surface color together with the scene illumination. Observing that 3D supervision alone is not sufficient for high fidelity color reconstruction, we introduce patch-based rendering losses that enable reliable color reconstruction on visible parts of the human, and detailed and plausible color estimation for the non-visible parts. Moreover, our method specifically addresses methodological and practical limitations of prior work in terms of representing geometry, albedo, and illumination effects, in an end-to-end model where factors can be effectively disentangled. In extensive experiments, we demonstrate the versatility and robustness of our approach. Our state-of-the-art results validate the method qualitatively and for different metrics, for both geometric and color reconstruction.

연구 동기 및 목표

• 단일 단일 RGB 이미지에서 기하학, 알베도, 조명을 동시에 예측할 수 있는 엔드 투 엔드 학습 가능한 방법의 부족을 해결하기 위해.
• 이전 방법들이 조명을 외관에 통합함으로써 현실적인 시나리오 통합에 부적합한 모델을 만들던 한계를 극복하기 위해.
• 이미지 매트링이나 다단계 파이프라인에 의존하지 않고 단일 단계 추론을 가능하게 하기 위해.
• 새로운 렌더링 손실을 통해 비시야 영역(자기 음영 영역)에서도 색상 재구성의 시각적 정확도를 향상시키기 위해.
• 기하학, 알베도, 조명을 분리하여 가상의 착용 테스트나 시나리오 합성과 같은 후속 응용에서 더 큰 유연성을 제공하기 위해.

제안 방법

• 단일 엔드 투 엔드 학습 가능한 신경망을 사용하여 3D 기하학의 부호 거리 필드, 표면 알베도, 환경 조명을 예측한다.
• 광학 일관성을 기반으로 색상 외관을 감독하는 패치 기반 렌더링 손실을 도입하여 시각적 품질을 향상시킨다.
• 표면 법선, 알베도, 조명을 동시에 추정함으로써 조명 효과를 본질적 표면 색상에서 분리한다.
• 학습된 부호 거리 필드에 대해 Marching Cubes를 적용하여 메쉬를 추출하고, 고해상도 재구성의 효율성을 높이기 위해 옥트리 샘플링을 사용한다.
• 모델은 입력 이미지를 64³ 벡셀 단위로 배치 처리하며, V100 GPU에서 256³ 그리드에 대해 1.21초, 512³ 그리드에 대해 5.72초의 추론 시간을 기록한다.
• 후처리 단계로 2D 키포인트 검출에 기반하여 GHUM 통계적 신체 모델에 맞추고, 메쉬 정렬을 위해 ICP를 사용한다.

실험 결과

연구 질문

• RQ1 이미지 매트링 없이 단일 엔드 투 엔드 딥 러닝 모델이 단일 RGB 이미지에서 정밀한 3D 기하학, 알베도, 조명을 동시에 예측할 수 있는가?
• RQ2 렌더링 손실은 특히 자기 음영 영역에서 색상 재구성의 시각적 품질을 어떻게 향상시킬 수 있는가?
• RQ3 기하학과 외관을 동시에 최적화하면 순차적 또는 다단계 접근 방식에 비해 알베도와 조명의 분리 정도가 향상되는가?
• RQ4 명시적인 2D 감독(예: 이미지 매트링에서 유래)이 없는 것이 성능을 떨어뜨리며, 모델이 다양한 배경과 조명 조건에서도 일반화 가능한가?
• RQ5 정량적 및 정성적으로 최신 기술 수준의 방법과 비교했을 때 기하학적 정확도와 실사적 외관 측면에서 본 모델의 성능은 어떠한가?

주요 결과

• PHORHUM는 PeopleSnapshot 데이터셋에서 PIFuHD와 Tex2Shape를 능가하는 최신 기술 수준의 기하학적 및 색상 재구성 성능을 달성한다.
• 합리적인 알베도 및 조명 추정을 제공하여 새로운 시나리오에 대한 현실적인 재조명 및 합성 가능성을 확보한다.
• 렌더링 손실은 특히 시야 외부(자기 음영) 영역에서 색상 추정이 일반적으로 신뢰할 수 없을 때 시각적 정확도를 크게 향상시킨다.
• 메쉬 재구성은 V100 GPU에서 256³ 그리드에 대해 1.21초, 512³ 그리드에 대해 5.72초가 소요되며, 최대 400만 개의 정점까지 포함하는 고해상도 메쉬를 생성한다.
• 모델은 훈련 데이터에 명시적으로 포함되지 않은 단색 흰색 배경을 가진 이미지에도 잘 일반화된다.
• GHUM에 기반한 후처리 라이팅을 통해 표준 모션 캡처 데이터나 잠재적 자세 샘플링을 사용한 애니메이션 구현이 가능하다.