[논문 리뷰] NeRF-VAE: A Geometry Aware 3D Scene Generative Model

Adam R. Kosiorek, Heiko Strathmann외 5명|arXiv (Cornell University)|2021. 04. 01.

Advanced Vision and Imaging참고 문헌 41인용 수 26

한 줄 요약

NeRF-VAE는 공유된 NeRF 기반 디코더를 씬별 잠재 변수에 조건화하여 사용하는 기하학적으로 인식하는 3D 장면 생성 모델로, amortized inference를 가능하게 하며 소수의 입력 이미지에서 새로운 시점의 기하학적으로 일관된 장면을 추론하고 렌더링한다.

ABSTRACT

We propose NeRF-VAE, a 3D scene generative model that incorporates geometric structure via NeRF and differentiable volume rendering. In contrast to NeRF, our model takes into account shared structure across scenes, and is able to infer the structure of a novel scene -- without the need to re-train -- using amortized inference. NeRF-VAE's explicit 3D rendering process further contrasts previous generative models with convolution-based rendering which lacks geometric structure. Our model is a VAE that learns a distribution over radiance fields by conditioning them on a latent scene representation. We show that, once trained, NeRF-VAE is able to infer and render geometrically-consistent scenes from previously unseen 3D environments using very few input images. We further demonstrate that NeRF-VAE generalizes well to out-of-distribution cameras, while convolutional models do not. Finally, we introduce and study an attention-based conditioning mechanism of NeRF-VAE's decoder, which improves model performance.

연구 동기 및 목표

• Neural Radiance Fields (NeRF)을 사용하여 장면에 대한 생성 모델에 3D 기하학적 구조를 도입한다.
• 재학습 없이도 새로운 씬을 추론할 수 있도록 per-scene 추론을 amortized로 가능하게 한다.
• 여러 씬에 걸친 공유 씬 프라이어를 학습하여 적은 시점으로부터의 재구성을 향상시킨다.
• 미분 가능 부피 렌더링을 통해 관점 간 기하학적 일관성을 유지한다.
• 씬 함수 모델링을 개선하기 위한 유연한 조건화 메커니즘(주의(attention) 포함)을 제공한다.

제안 방법

• 씬 함수 G_theta(x,d)를 씬별 잠재 z에 조건화된 NeRF 디코더로 표현한다.
• 맥락 이미지와 카메라 포즈의 맥락 집합 C로부터 근사 사후 분포 q_lambda(z|C)를 추정하기 위해 인코더 E_phi를 사용한다.
• 재구성 항과 q_lambda와 p(z) 간의 KL 발산을 포함하는 변분 목적함수(ELBO)로 학습한다.
• posterior 매개변수 lambda를 정교화하기 위해 반복적 amortized inference를 채택하여 amortization 격차를 줄인다.
• x와 d에 대한 Fourier/원형 인코딩을 포함하여 ML P 및 주의(attention) 기반 조건화 등 씬 함수의 조건화 방법을 탐색한다.
• NeRF-스타일의 레이 마칭을 이용한 미분 가능 체적 렌더링으로 이미지를 렌더링하고, 필요하면 깊이 맵을 추정한다.

실험 결과

연구 질문

• RQ1 NeRF-VAE가 공유 씬 프라이어로 인해 매우 적은 입력 시점에서도 기하학적으로 일관된 새로운 씬을 추론할 수 있는가?
• RQ2 씬별 잠재 표현이 완전한 씬별 NeRF와 비교했을 때 표현력과 재구성 품질에 어떤 차이를 보이는가?
• RQ3 기하학 인식 디코딩이 합성계 기반 대비(예: GQN 변형)보다 관점 외 분포 카메라 뷰에 대한 일반화에 도움이 되는가?
• RQ4 다양한 조건화 메커니즘(MLP vs attention)이 재구성과 일반화에 미치는 영향은 무엇인가?

주요 결과

• NeRF-VAE는 100뷰 미만으로 학습했을 때 NeRF보다 재구성 오차가 더 낮고, 단일 뷰에서 일정한 시간 안에 장면 구조를 추론할 수 있다.
• 모델은 합성 기반 베이스라인(GQN 변형 등)보다 관점 외 카메라 뷰에 더 잘 일반화한다.
• attention 기반 조건화 메커니즘은 여러 설정에서 단순 MLP 조건화보다 성능을 향상시킨다.
• 학습된 씬 priors를 통해 새로운 씬의 샘플링과 다양한 시점에서의 렌더링이 가능하며 기하학 및 깊이 추정이 가능하다.
• 반복적 amortized inference는 amortization gap을 줄이고, 복잡한 씬에서 purely amortized inference보다 재구성을 개선한다.