[논문 리뷰] Density-aware NeRF Ensembles: Quantifying Predictive Uncertainty in Neural Radiance Fields

Niko Sünderhauf, Jad Abou-Chakra외 1명|arXiv (Cornell University)|2022. 09. 19.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 RGB 분산과 레이별 종료 확률을 조합하여 신경 렌디언스 필드(NeRF)에서 지식 기반 불확실성(epistemic uncertainty)을 정량화하는 밀도 인식 NeRF 앙상블을 제안한다. 밀도 기반 불확실성 정보를 통합함으로써 아키텍처 변경 없이도 최신 기술 수준의 불확실성 정량화 성능을 달성하며, 활성 시나리오 모델링을 위한 다음 최적의 시점 선택에 효과적으로 활용된다.

ABSTRACT

We show that ensembling effectively quantifies model uncertainty in Neural Radiance Fields (NeRFs) if a density-aware epistemic uncertainty term is considered. The naive ensembles investigated in prior work simply average rendered RGB images to quantify the model uncertainty caused by conflicting explanations of the observed scene. In contrast, we additionally consider the termination probabilities along individual rays to identify epistemic model uncertainty due to a lack of knowledge about the parts of a scene unobserved during training. We achieve new state-of-the-art performance across established uncertainty quantification benchmarks for NeRFs, outperforming methods that require complex changes to the NeRF architecture and training regime. We furthermore demonstrate that NeRF uncertainty can be utilised for next-best view selection and model refinement.

연구 동기 및 목표

• NeRF에서 관측되지 않은 시나리오 영역에 대해 효과적인 불확실성 정량화의 부족을 해결하기 위해.
• 관측되지 않은 기하학적 구조로 인해 표준 앙상블이 지식 기반 불확실성을 포착하지 못함을 입증하기 위해.
• RGB 분산과 레이별 밀도 및 종료 확률을 조합함으로써 정확한 지식 기반 불확실성 추정이 가능함을 보여주기 위해.
• NeRF 기반 시나리오 모델링에서 불확실성의 유효성을 검증하기 위해.
• 현대 NeRF(예: Instant-NGP)에 적용 가능한 간단하고 즉시 사용 가능한 불확실성 정량화 방법을 확립하기 위해.

제안 방법

• 동일한 훈련 데이터에 대해 M=5개의 Instant-NGP NeRF 앙상블을 훈련하여 모델 변동성을 캡처한다.
• 앙상블 구성원 간의 픽셀별 RGB 값 분산을 예측 불확실성으로 계산한다.
• 각 레이를 따라 예측된 밀도와 종료 확률에 기반한 추가적인 지식 기반 불확실성 항을 도입한다.
• 결합된 불확실성(RGB 분산 + 밀도 기반 지식 기반 항)을 모델 신뢰도의 대체 지표로 사용한다.
• 반복적인 활성 학습 루프에서 불확실성 기반 시점 선택을 적용하여, 훈련에 포함하기 위해 가장 높은 불확실성을 가진 시점을 선택한다.
• 보류된 테스트 시점에서의 PSNR을 사용하여 성능을 평가하고, 불확실성 기반 선택 전략과 무작위 선택 전략을 비교한다.

Figure 1 : An ensemble of Neural Radiance Fields can render a mean RGB image and use the colour variance in pixel space to quantify its predictive uncertainty (top). However, this naive approach to ensembling often does not capture the epistemic uncertainty in parts of a scene that were unobserved d

실험 결과

연구 질문

• RQ1 표준 NeRF 앙상블은 시나리오의 관측되지 않은 영역에서 예측 불확실성을 효과적으로 정량화할 수 있는가?
• RQ2 레이별 종료 확률을 통합함으로써 NeRF 앙상블의 지식 기반 불확실성 추정이 향상되는가?
• RQ3 밀도 기반 앙상블을 통한 불확실성 정량화가 활성 시나리오 재구성에서 효과적인 다음 최적의 시점 선택을 이끌 수 있는가?
• RQ4 불확실성 기반 시점 선택은 무작위 선택 대비 재구성 품질과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 NeRF 아키텍처나 훈련 제약 조건을 변경하지 않고도 최신 기술 수준의 불확실성 성능를 달성할 수 있는가?

주요 결과

• 제안된 밀도 기반 앙상블은 아키텍처나 훈련 제약 조건 변경 없이도 기존 방법 대비 불확실성 정량화 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• RGB 분산에만 기반한 단순한 앙상블은 관측되지 않은 영역에서 불확실성을 감지하지 못하며, 렌더링 오류가 높은 경우에도 종종 분산이 0으로 나타난다.
• 레이별 종료 확률을 통합함으로써 지식 기반 불확실성 추정이 크게 향상되며, 특히 가림되거나 관측되지 않은 시나리오 영역에서 두드러진다.
• 불확실성 기반 다음 최적의 시점 선택은 무작위 선택 대비 더 빠른 수렴과 더 높은 평균 및 최악의 PSNR 성능을 달성한다.
• 불확실성에 가장 기여하는 시점을 우선순위로 선택함으로써 최악의 재구성 오차를 효과적으로 줄여, 실제 오차와 강한 상관관계를 보임을 시사한다.
• 이 방법은 계산적으로 실현 가능하며, Instant-NGP와 같은 빠른 NeRF 변종과도 호환되어 실시간 불확실성 정량화 및 활성 학습을 가능하게 한다.

Figure 3 : Ensembling is feasible and effective for moderate ensemble sizes. The Negative Log-Likelihood converges quickly for most scenes, improving negligibly beyond sizes of 5 except for T-Rex .