[논문 리뷰] Bayes' Rays: Uncertainty Quantification for Neural Radiance Fields

Lily Goli, Cody Reading외 3명|arXiv (Cornell University)|2023. 09. 06.

Cell Image Analysis Techniques인용 수 5

한 줄 요약

BayesRays는 손실의 헤시안의 라플라스 근사와 공간적 편향을 사용하여 사전 훈련된 신경 렌더링 필드(NeRF)의 사후 베이지안 불확실성 정량화 프레임워크를 도입한다. 재학습 없이 1분 이내에 공간 불확실성 필드를 계산하며, 실시간 아티팩트 제거 기능을 제공하고 깊이 오차와의 상관관계에서 이전 방법들을 능가한다.

ABSTRACT

Neural Radiance Fields (NeRFs) have shown promise in applications like view synthesis and depth estimation, but learning from multiview images faces inherent uncertainties. Current methods to quantify them are either heuristic or computationally demanding. We introduce BayesRays, a post-hoc framework to evaluate uncertainty in any pre-trained NeRF without modifying the training process. Our method establishes a volumetric uncertainty field using spatial perturbations and a Bayesian Laplace approximation. We derive our algorithm statistically and show its superior performance in key metrics and applications. Additional results available at: https://bayesrays.github.io.

연구 동기 및 목표

• NeRF에서 원칙적이고 효율적인 불확실성 정량화의 부족, 특히 가림과 누락된 시점으로 인한 지식 불확실성에 대응하기 위해.
• 훈련 이미지나 재학습 없이도 어떤 사전 훈련된 NeRF 아키텍처와도 작동하는 방법을 개발하기 위해.
• 불확실성 필드의 임계값 설정을 통해 NeRF 아티팩트 정리와 같은 실용적 응용을 가능하게 하기 위해.
• 재구성 오차와 의미 있는 상관관계를 가지는 통계적으로 타당한 불확실성 추정을 제공하기 위해.

제안 방법

• 학습된 변형 필드를 사용하여 NeRF 샘플링 점의 3차원 좌표를 변형함으로써 영상 필드에 공간적 편향을 적용한다.
• 학습된 해에 가까운 모델 가중치의 사후 분포를 추정하기 위해 베이지안 라플라스 근사를 사용하며, 헤시안의 대각선에 집중한다.
• 삼선형 보간을 가능하게 하기 위해 $M^3$ 크기의 균일한 3차원 격자에 변형 필드를 이산화한다.
• 헤시안 근사의 부산물로 불확실성 필드를 계산하며, 이를 추가 색상 채널로 렌더링한다.
• 불확실성 필드를 사용하여 임계값 설정을 통한 실시간 상호작용식 NeRF 정리 기능을 구현한다.
• 가시성 마스크나 훈련 데이터를 피하기 위해 모든 필요한 정보를 헤시안 행렬 $\mathbf{H}$에 저장한다.

Figure 2 : Inspired by uncertainty quantification in classic photogrammetry (left), we find epistemic uncertainty in NeRF (right).

실험 결과

연구 질문

• RQ1 훈련 과정 수정이나 훈련 데이터가 없이도 NeRF의 지식 불확실성을 사후적으로 정량화할 수 있는가?
• RQ2 기존 방법들과 비교해 볼 때 제안된 불확실성 필드는 실제 깊이 재구성 오차와 얼마나 잘 상관되는가?
• RQ3 불확실성 필드는 실시간으로 NeRF 아티팩트(예: 플로터)를 효과적으로 제거하는 데 사용될 수 있는가?
• RQ4 이 방법은 다양한 NeRF 아키텍처와 시나리오 유형에 대해 얼마나 강건한가?
• RQ5 격자 해상도($M^3$)와 불확실성 임계값은 아티팩트 제거 품질과 계산 비용에 어떤 영향을 미치는가?

주요 결과

• BayesRays는 어떤 사전 훈련된 NeRF이든 아키텍처나 훈련 세부 정보에 관계없이 1분 이내에 공간 불확실성 필드를 계산한다.
• 불확실성 필드는 깊이 오차와 강한 상관관계를 보이며, 핵심 지표에서 이전의 히우리스틱 및 확률적 방법들을 능가한다.
• 불확실성 필드의 임계값 설정을 통해 실시간 상호작용식 NeRF 정리가 가능하며, 샘플링 아티팩트를 유발하지 않고 플로터를 제거할 수 있다.
• Nerfbusters가 실패한 'Pikachu' 및 'Flowers' 시나리오와 같이 도전적인 케이스에서도 아티팩트를 성공적으로 제거하였다.
• Mip-NeRF, Instant NGP, Nerfacto 등 다양한 NeRF 아키텍처에서 'Lego' 시나리오를 대상으로 실험한 결과, 불확실성 필드가 아키텍처에 민감하지 않음을 입증하였다.
• 이 방법은 오직 지식 불확실성만을 모델링하며, 애러토릭 노이즈는 모델링하지 않아, 노이즈가 있는 훈련 시점으로 인한 일관성 없는 문제를 해결할 수 없다.

Figure 3 : BayesRays applied to different NeRF architectures. ”Lego” [ 24 ] is only trained with cameras on its left hemisphere.