[논문 리뷰] H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion

Hongyi Xu, Thiemo Alldieck외 1명|arXiv (Cornell University)|2021. 10. 26.

3D Shape Modeling and Analysis참고 문헌 57인용 수 75

한 줄 요약

H-NeRF는 신경복사장(NeRF)과 암시적 인간 바디 모델(imGHUM)을 결합하여 희소 시야에서 움직이는 인간을 렌더링하고 시간적으로 재구성하여 새로운 자세, 형상 및 시점으로의 일반화를 가능하게 한다.

ABSTRACT

We present neural radiance fields for rendering and temporal (4D) reconstruction of humans in motion (H-NeRF), as captured by a sparse set of cameras or even from a monocular video. Our approach combines ideas from neural scene representation, novel-view synthesis, and implicit statistical geometric human representations, coupled using novel loss functions. Instead of learning a radiance field with a uniform occupancy prior, we constrain it by a structured implicit human body model, represented using signed distance functions. This allows us to robustly fuse information from sparse views and generalize well beyond the poses or views observed in training. Moreover, we apply geometric constraints to co-learn the structure of the observed subject -- including both body and clothing -- and to regularize the radiance field to geometrically plausible solutions. Extensive experiments on multiple datasets demonstrate the robustness and the accuracy of our approach, its generalization capabilities significantly outside a small training set of poses and views, and statistical extrapolation beyond the observed shape.

연구 동기 및 목표

• 희소한 카메라 뷰포인트에서 움직이는 인간의 자유시점 비디오를 동기 부여한다.
• 구조화된 암시적 인간 바디 모델(imGHUM)으로 규제된 기하학적으로 인식 가능한 NeRF를 개발한다.
• 기본 신체 모델을 넘는 의상과 머리카락 디테일을 포착하기 위해 NeRF와 잔차 SDF를 공동 학습한다.
• 보이지 않는 자세, 시점, 형상에 강하게 일반화되는 강건한 4D 재구성 및 렌더링을 달성한다.

제안 방법

• 신체 자세 θ와 뿌리 변환 T에 조건화하여 x에서 (c, σ)로 매핑하는 복사장 필드 Fω와 x에서 Δd로 매핑하는 잔차 SDF ΔHω를 공동 학습한다.
• 프레임 간 기하를 안내하고 시공간 대응을 제공하기 위해 암시적 프레임 프리어로서 imGHUM을 사용한다.
• 표면 근처의 불투명도 규칙화를 위해 SDF에서 얻은 의사 알파를 NeRF 알파와 혼합하여 NeRF와 암시적 SDF를 결합한다.
• 동적 시퀀스를 위해 포즈 코드(β, θ, T)에 NeRF 색상과 기하를 조건화하고 관측치를 표준 프레임으로 왜곡한다.
• 표면 일관성과 기하학적 타당성을 강제하기 위해 손실 L_blend, L_geom, L_seg 및 Eikonal 기반 정규화를 도입한다.
• 훈련 중에 전경과의 적합도를 높이기 위해 포즈/형상 보정 Δβ 및 Δθ(t)를 미세 조정한다.

실험 결과

연구 질문

• RQ1 희소한 뷰에서 움직이는 인간을 NeRF 기반 표현과 암시적 인간 바디 모델이 렌더링 및 재구성할 수 있는가?
• RQ2 NeRF와 잔차 SDF를 공동 학습하면 기하학 및 외관이 개선되어 의상과 머리카락에 특히 도움이 되는가? 기본 NeRF와 비교했을 때 어떠한가?
• RQ3 제한된 학습 데이터로 새로운 자세, 형상 및 보지 못한 카메라 시점에 어떻게 일반화되는가?
• RQ4 포즈 조건부 기하 및 외관이 렌더링 충실도와 시간적 일관성에 어떤 영향을 미치는가?
• RQ5 희소한 카메라 구성을 가진 정적/동적 장면 모두를 안정적으로 다룰 수 있는가?

주요 결과

• 희소한 시야에서 NeRF 및 IDR에 비해 정적 장면에서 더 우수한 신규 시점 렌더링 및 3D 기하 재구성을 달성한다.
• 동적 인간의 경우, 여러 데이터셋에서 이미지 품질(PSNR/SSIM/LPIPS)과 기하학적 지표(Ch, NC, IoU) 면에서 NeuralBody보다 더 우수하다.
• H-NeRF는 보지 못한 자세와 형상에 일반화되며 프레임/프레임 수 변화에 강인하고 네 대 카메라 구도에서 최대 10개의 시간 프레임만으로도 작동할 수 있다.
• 프레임의 강력한 기하학적 주도인 imGHUM을 활용하고 바디 잠재 코드에 조건화함으로써 자유 시점 렌더링과 4D 재구성에 대해 정확한 결과를 달성한다.
• 정량적 결과는 RenderPeople, GHS3D, PeopleSnapshot, Human3.6M 데이터셋에서 PSNR/SSIM이 향상되거나 기하학적 지표가 경쟁력 있거나 더 우수함을 보여준다.