[논문 리뷰] HDHumans: A Hybrid Approach for High-fidelity Digital Humans

Marc Habermann, Lingjie Liu외 4명|arXiv (Cornell University)|2022. 10. 21.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

HDHumans는 다중 시야 영상에서 고해상도, 사진처럼 사실적인 디지털 인간을 구현하기 위해 변형 가능한 3D 메시 템플릿과 신경 렌디언스 필드(네루프, NeRF)를 밀접하게 통합한 하이브리드 프레임워크를 제안한다. 상호 지도를 통해 메시는 NeRF의 샘플링 효율성과 일반화 능력을 향상시키고, NeRF는 표면의 세부 정보와 감독을 강화함으로써, 느슨한 옷차림과 예측되지 않은 동작 조건에서도 4K 해상도의 시간적으로 일관된 새로운 시점 및 운동 합성 결과를 달성한다.

ABSTRACT

Photo-real digital human avatars are of enormous importance in graphics, as they enable immersive communication over the globe, improve gaming and entertainment experiences, and can be particularly beneficial for AR and VR settings. However, current avatar generation approaches either fall short in high-fidelity novel view synthesis, generalization to novel motions, reproduction of loose clothing, or they cannot render characters at the high resolution offered by modern displays. To this end, we propose HDHumans, which is the first method for HD human character synthesis that jointly produces an accurate and temporally coherent 3D deforming surface and highly photo-realistic images of arbitrary novel views and of motions not seen at training time. At the technical core, our method tightly integrates a classical deforming character template with neural radiance fields (NeRF). Our method is carefully designed to achieve a synergy between classical surface deformation and NeRF. First, the template guides the NeRF, which allows synthesizing novel views of a highly dynamic and articulated character and even enables the synthesis of novel motions. Second, we also leverage the dense pointclouds resulting from NeRF to further improve the deforming surface via 3D-to-3D supervision. We outperform the state of the art quantitatively and qualitatively in terms of synthesis quality and resolution, as well as the quality of 3D surface reconstruction.

연구 동기 및 목표

• 기존의 디지털 인간 합성 방법이 고해상도, 새로운 시점, 예측되지 않은 동작, 느슨한 옷차림을 다루는 데에 한계를 지닌다는 문제를 해결한다.
• 이미지 기반 접근 방식의 3D 일관성 부족과 저해상도 문제를 해결하고, 메시 기반 또는 네루프 기반 접근 방식의 일반화 능력 한계를 극복한다.
• 밀접하게 결합된 하이브리드 표현 방식을 통해 다중 시야 영상에서 효율적이고 고해상도의 사진처럼 사실적인 인간 아바타를 합성할 수 있도록 한다.
• 4K 해상도에서 3D 표면 재구성과 새로운 시점 합성에서 최신 기술 수준의 성능을 달성한다.
• 모든 동작이나 의류 유형에 대해 명시적 감독을 요구하지 않고도 운동 일반화 및 동적인 옷차림의 변형을 지원한다.

제안 방법

• 표면 주변의 얇은 껍질 내에 정의된 신경 렌디언스 필드(네루프)와 밀도가 높고 운동에 따라 변형되는 3D 메시 템플릿을 결합한 하이브리드 표현 방식을 도입한다.
• 메시를 기하학적 사전 지식으로 활용해 네루프의 샘플링과 특징 집합을 안내함으로써, 레이당 64+128개에서 32개로 샘플 수를 감소시키고 학습 속도를 6배로 향상시킨다.
• 네루프의 고주파 세부 정보와 명시적 3D 감독을 활용해, 네루프 추정 점에서 유도된 3D-에서-3D 감독을 통해 메시 변형 네트워크를 정밀하게 개선한다.
• 메시와 네루프를 양방향으로 융합하여 공동 학습: 메시가 NeRF의 효율적이고 운동 일반화 가능한 렌더링을 안내하고, NeRF가 메시의 세부 정보를 향상시키며 局부 최소값 문제를 줄인다.
• 시간과 공간에서 일관성을 유지하는 방식으로 네루프를 매개변수화하며, 뼈대 운동과 카메라 자세에 따라 조건화함으로써 새로운 운동과 시점 합성을 가능하게 한다.
• 메시에 의존하는 샘플링 전략 덕분에 가능해진 4K 다중 시야 감독을 학습 중 적용하여 더 높은 해상도의 출력 결과를 달성한다.

실험 결과

연구 질문

• RQ1 하이브리드 메시-네루프 표현 방식이 고해상도 디지털 인간의 3D 표면 재구성과 새로운 시점 합성 품질을 동시에 향상시킬 수 있는가?
• RQ2 변형 가능한 메시 템플릿은 어떻게 네루프 샘플링을 안내하여 효율성과 예측되지 않은 동작 및 자세에 대한 일반화 능력을 향상시킬 수 있는가?
• RQ3 네루프 감독은 느슨한 옷차림과 고주파 기하학적 구조에 대해 학습된 변형 메시의 정확성과 세부 정보를 어느 정도 향상시킬 수 있는가?
• RQ4 이 하이브리드 접근 방식은 시간적으로 일관성과 운동 일반화를 유지하면서 4K 해상도의 사진처럼 사실적인 렌더링을 달성할 수 있는가?
• RQ5 이러한 밀착된 통합 시스템에서 학습 효율성과 추론 속도의 실질적 한계는 무엇이며, 이를 어떻게 향상시킬 수 있는가?

주요 결과

• HDHumans는 3D 표면 재구성과 새로운 시점 합성에서 최신 기술 수준의 성능을 달성하였으며, 훨씬 더 선명한 세부 정보와 기하학적 잡음 감소를 보였다.
• 네루프 샘플링 수를 레이당 64+128개에서 32개로 감소시켜 4K 다중 시야 영상에서 학습 시간을 29일에서 10일로 단축시켰다.
• 4112×3008 해상도 이미지에 대한 정량적 평가 결과, 4K 감독이 재구성 오차를 낮추고 품질을 향상시킨다는 것이 확인되었다.
• 이 방법은 복잡한 동적인 옷차림(예: 스커트)이 포함된 새로운 시점과 예측되지 않은 동작에 대한 사진처럼 사실적인 이미지를 성공적으로 합성하였다.
• 운동 리타겟팅 결과는 높은 현실감을 보였으며, 파란 드레스에서 노란 스커트로의 운동 전이조차도 주름과 같은 미세한 세부 정보를 유지하였다.
• 비디오 합성 응용 사례에서는 일관된 조명과 기하학적 일관성을 유지하면서 사진처럼 사실적인 아바타를 역동적인 장면에 자연스럽게 오버랩할 수 있음을 입증하였다.