[논문 리뷰] Stochastic Neural Radiance Fields: Quantifying Uncertainty in Implicit 3D Representations

Jianxiong Shen, Adrià Ruiz외 2명|arXiv (Cornell University)|2021. 09. 05.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 변분 추론을 통해 반사율 필드 위에 확률 분포를 학습함으로써 불확실성을 모델링하는 베이지안 확장인 Stochastic Neural Radiance Fields (S-NeRF)를 제안한다. S-NeRF는 새로운 시야 합성과 깊이맵 추정에 대해 신뢰할 수 있는 불확실성 추정을 제공하며, 계산 비용을 증가시키지 않으면서도 일반적인 불확실성 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Neural Radiance Fields (NeRF) has become a popular framework for learning implicit 3D representations and addressing different tasks such as novel-view synthesis or depth-map estimation. However, in downstream applications where decisions need to be made based on automatic predictions, it is critical to leverage the confidence associated with the model estimations. Whereas uncertainty quantification is a long-standing problem in Machine Learning, it has been largely overlooked in the recent NeRF literature. In this context, we propose Stochastic Neural Radiance Fields (S-NeRF), a generalization of standard NeRF that learns a probability distribution over all the possible radiance fields modeling the scene. This distribution allows to quantify the uncertainty associated with the scene information provided by the model. S-NeRF optimization is posed as a Bayesian learning problem which is efficiently addressed using the Variational Inference framework. Exhaustive experiments over benchmark datasets demonstrate that S-NeRF is able to provide more reliable predictions and confidence values than generic approaches previously proposed for uncertainty estimation in other domains.

연구 동기 및 목표

• 로봇 공학 및 AR와 같은 안전이 중요한 애플리케이션에서의 활용을 제한하는 NeRF 기반 3D 장면 표현에서의 불확실성 정량화 부족 문제를 해결하기 위해.
• 모든 가능한 반사율 필드에 대한 불확실성을 모델링하는 확률적 일반화된 NeRF를 개발하기 위해.
• 신규 시야 렌더링 및 깊이맵 예측과 같은 후행 작업을 위한 신뢰성 있는 신뢰도 추정을 가능하게 하기 위해.
• 계산 복잡도를 증가시키지 않고도 NeRF에 불확실성 추정을 통합하여 실용적인 구현을 보장하기 위해.

제안 방법

• S-NeRF는 표준 NeRF를 일반화하여 반사율과 밀도를 매개변수화된 분포를 가진 확률적 변수로 모델링함으로써, 모든 가능한 반사율 필드에 대한 불확실성 모델링을 가능하게 한다.
• 이 방법은 NeRF 학습을 베이지안 추론 문제로 재정의하여, 변분 추론을 사용해 반사율 필드 위의 사후 분포를 추정한다.
• 확률적 사후 분포는 확률적 경사 하강법을 통해 최적화되며, 음의 로그우도와 KL 발산 항을 포함하는 변분 하한을 최소화한다.
• 학습된 시각화된 시점에서 관측된 공간 위치에 대해 최적화 가능한 분산을 가진 학습된 사전 분포를 도입하여, 고정된 고분산 사전 분포에 비해 안정성과 성능을 향상시킨다.
• 이 프레임워크는 신규 시야 렌더링 외에도 깊이맵 예측과 같은 3D 기하학적 정보에 대한 불확실성 추정을 지원한다.
• 최적화 목표는 로그우도, KL 발산, 그리고 학습된 사전 항을 조합하여 일반화 및 불확실성 校정을 향상시킨다.

실험 결과

연구 질문

• RQ1 NeRF의 확률적 일반화가 3D 장면 표현의 불확실성을 효과적으로 정량화할 수 있는가?
• RQ2 S-NeRF는 다른 도메인의 일반적인 불확실성 방법과 비교해 불확실성 추정을 어떻게 향상시키는가?
• RQ3 관측된 공간 위치에 대해 학습된 사전 분포를 통합함으로써 불확실성 校정 및 모델 안정성이 향상되는가?
• RQ4 S-NeRF는 깊이맵 예측과 같은 3D 기하학 작업에 의미 있는 불확실성 추정을 제공할 수 있는가?
• RQ5 제안된 방법은 확장 가능하고 효율적인가? 불확실성 모델링을 추가함에도 불구하고 계산 효율성을 유지하는가?

주요 결과

• S-NeRF는 낮은 음의 로그우도(NLL)와 높은 MSE-불확실성 상관관계를 측정하여 일반적인 불확실성 추정 방법보다 훨씬 우수한 불확실성 校정 성능을 달성한다.
• 학습된 사전 분포를 도입함으로써 관측된 공간 위치에 대해 최적화 가능한 분산을 가진 사전 분포를 통합함으로써 성능 향상과 학습 안정성이 향상되었으며, 고정된 고분산 사전 분포로 인한 최적해 이탈 위험을 줄였다.
• S-NeRF는 관측되지 않은 영역 및 깊이 불연속성이 있는 영역(예: 물체 경계)에 대해 높은 불확실성 값을 할당하여 이 영역에서 모델 신뢰도가 낮음을 반영한다.
• 깊이맵 합성에서 S-NeRF는 망막이나 장면 경계와 관련된 낮은 신뢰도 영역을 정확히 식별하여 신뢰할 수 있는 불확실성 추정을 보여준다.
• 기준 데이터셋에서의 실험 결과, S-NeRF는 계산 효율성을 유지하면서도 NeRF 기반 3D 표현에서 최고 수준의 불확실성 정량화 성능을 달성한다.
• 프레임워크는 고정되지 않은 영역, 일시적인 물체나 훈련 시각이 누락된 영역과 같이 높은 불확실성 영역을 성공적으로 식별하고 경고함으로써 실세계 응용에서의 강인성을 향상시켰다.