[논문 리뷰] ProbNeRF: Uncertainty-Aware Inference of 3D Shapes from 2D Images

Matthew D. Hoffman, Tuan Anh Lê외 5명|arXiv (Cornell University)|2022. 10. 27.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

ProbNeRF는 단일 또는 소수의 2D 이미지로부터 불확실성 인식 가능한 3D 형태 및 외관 복원을 가능하게 하는 확률적 신경 렌디언스 필드 모델을 제안한다. 정확한 렌더러, 안내된 HMC, 하이퍼넷워크 기반 디코딩을 사용한 전체 NeRF 가중치에 대한 변동성 자료 분석기와 하이퍼넷워크를 결합함으로써 ProbNeRF는 입력 시각과 일관되며 다양한, 일관성 있고 고해상도의 3D 가설을 생성한다.

ABSTRACT

The problem of inferring object shape from a single 2D image is underconstrained. Prior knowledge about what objects are plausible can help, but even given such prior knowledge there may still be uncertainty about the shapes of occluded parts of objects. Recently, conditional neural radiance field (NeRF) models have been developed that can learn to infer good point estimates of 3D models from single 2D images. The problem of inferring uncertainty estimates for these models has received less attention. In this work, we propose probabilistic NeRF (ProbNeRF), a model and inference strategy for learning probabilistic generative models of 3D objects' shapes and appearances, and for doing posterior inference to recover those properties from 2D images. ProbNeRF is trained as a variational autoencoder, but at test time we use Hamiltonian Monte Carlo (HMC) for inference. Given one or a few 2D images of an object (which may be partially occluded), ProbNeRF is able not only to accurately model the parts it sees, but also to propose realistic and diverse hypotheses about the parts it does not see. We show that key to the success of ProbNeRF are (i) a deterministic rendering scheme, (ii) an annealed-HMC strategy, (iii) a hypernetwork-based decoder architecture, and (iv) doing inference over a full set of NeRF weights, rather than just a low-dimensional code.

연구 동기 및 목표

• 기존 NeRF가 점 추정치만 생성하므로, 단일 또는 소수의 2D 이미지로부터 3D 형태 복원의 불확실성 문제를 다루기.
• 특히 가림되거나 미리 보지 못한 부분에서 형태와 외관의 불확실성을 표현하지 못하는 기존 조건부 NeRF의 한계를 극복하기.
• 합리적인 3D 객체 사전 지식을 학습하고, 잠재 코드뿐 아니라 전체 NeRF 표현에 대한 사후 추론을 가능하게 하는 생성 모델 개발하기.
• 정확한 렌더링, 안내된 HMC, NeRF 파라미터에 대한 가중치 수준 추론을 조합하여 안정적이고 다양한, 고해상도의 3D 복원을 가능하게 하기.

제안 방법

• 잠재 코드에 대한 사전을 모델링하기 위해 역전형 RealNVP 플로우를 사용하는 변동성 자료 분석기(VAE)로 ProbNeRF를 훈련한 후, 하이퍼넷워크를 통해 전체 NeRF 가중치를 생성한다.
• HMC와의 호환성과 기울기 추정치의 분산 감소를 위해 몽테카를로 렌더링 대신 정확하고 결정적인 렌더러(Chen 등, 2022 기반)를 사용한다.
• 테스트 시기 추론을 위해 전체 NeRF 가중치에 대한 하이퍼볼릭 몽테카를로(HMC)를 수행하여 다양한, 타당한 3D 형태 가설 탐색을 가능하게 한다.
• 비로그-볼록한 가능도와 고립된 사후 모드가 존재하는 상황에서 혼합과 수렴을 향상시키기 위해 HMC에 온도-안내 전략을 적용한다.
• 효율적인 반복적 추론을 가능하게 하기 위해 압축되고 고해상도의 NeRF를 생성하기 위해 이중 단계 하이퍼넷워크 기반 디코더를 사용한다.
• 잠재 코드와 원시 NeRF 가중치를 모두 사후 분포에서의 랜덤 변수로 간주함으로써, 저차원 표현의 병목 현상을 피하고 고해상도 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 2D 이미지로부터 확률적 NeRF 프레임워크를 사용해 3D 복원에서 형태와 외관의 불확실성을 모델링할 수 있는가?
• RQ2 미리 보지 못한 객체 부분에 대해 생성된 가설의 다양성을 유지하면서도 고해상도 3D 복원을 어떻게 달성할 수 있는가?
• RQ3 가능도가 비로그-볼록한 경우에도 전체 NeRF 가중치 공간에 대한 안정적인 사후 샘플링을 가능하게 하는 추론 전략은 무엇인가?
• RQ4 정확한 렌더링과 안내된 HMC는 표준 몽테카를로 렌더링과 HMC에 비해 샘플 품질과 수렴성 측면에서 어떻게 비교되는가?
• RQ5 잠재 코드뿐 아니라 전체 NeRF 가중치에 대해 추론함으로써 더 높은 복원 정확도와 다양성을 달성할 수 있는가?

주요 결과

• ProbNeRF는 단일 2D 이미지로부터 입력 시각과 일관되며, 보이지 않는 부분에서 의미 있게 다양성이 있는 고해상도 3D 형태 가설을 생성한다.
• 정확한 렌더러의 사용은 안정적이고 효율적인 HMC 샘플링을 가능하게 하며, 표준 몽테카를로 렌더링은 높은 기각률과 열악한 혼합을 초래한다.
• 안내된 HMC는 비로그-볼록 가능도 분포에서의 수렴과 고립된 사후 모드 탐색을 크게 향상시킨다.
• 잠재 코드뿐 아니라 전체 NeRF 가중치에 대해 추론함으로써 저차원 표현의 병목 현상이 제거되어 더 높은 복원 정확도를 달성한다.
• 이중 단계 하이퍼넷워크 기반 디코더는 픽셀당 렌더링 비용을 감소시키고 효율성을 향상시켜 반복적 테스트 시기 추론을 가능하게 한다.
• HMC로 생성된 샘플은 가림 영역에서 높은 픽셀 수준의 분산을 보이며 의미 있는 불확실성 모델링을 나타내지만, 약간의 추론(VAE 등)은 거의 동일한 샘플을 생성하여 다양성이 없음을 보여준다.