[论文解读] Density-aware NeRF Ensembles: Quantifying Predictive Uncertainty in Neural Radiance Fields

Niko Sünderhauf, Jad Abou-Chakra+1 more|arXiv (Cornell University)|Sep 19, 2022

Model Reduction and Neural Networks被引用 7

一句话总结

本文提出了一种密度感知的NeRF集成方法，通过结合RGB方差与射线级别的终止概率，量化神经辐射场中的认知不确定性。通过引入基于密度的不确定性，该方法在不改变网络结构的前提下实现了最先进的不确定性量化，从而实现了主动场景建模中有效的下一最佳视角选择。

ABSTRACT

We show that ensembling effectively quantifies model uncertainty in Neural Radiance Fields (NeRFs) if a density-aware epistemic uncertainty term is considered. The naive ensembles investigated in prior work simply average rendered RGB images to quantify the model uncertainty caused by conflicting explanations of the observed scene. In contrast, we additionally consider the termination probabilities along individual rays to identify epistemic model uncertainty due to a lack of knowledge about the parts of a scene unobserved during training. We achieve new state-of-the-art performance across established uncertainty quantification benchmarks for NeRFs, outperforming methods that require complex changes to the NeRF architecture and training regime. We furthermore demonstrate that NeRF uncertainty can be utilised for next-best view selection and model refinement.

研究动机与目标

• 为解决NeRF中缺乏有效不确定性量化的问题，特别是针对未观测到的场景区域。
• 证明标准集成方法因未观测到的几何结构而无法捕捉认知不确定性。
• 表明将RGB方差与逐射线的密度及终止概率相结合，可实现准确的认知不确定性估计。
• 验证不确定性在NeRF-based场景建模中的主动学习实用性。
• 建立一种简单、即插即用的方法，用于现代NeRF（如Instant-NGP）中的不确定性量化。

提出的方法

• 在相同训练数据上训练M=5个Instant-NGP NeRF的集成，以捕捉模型方差。
• 通过集成成员间RGB值的像素级方差计算预测不确定性。
• 引入一个基于每条射线上预测密度和终止概率的附加认知不确定性项。
• 将组合不确定性（RGB方差 + 基于密度的认知项）作为模型置信度的代理指标。
• 在迭代主动学习循环中应用基于不确定性的视角选择，选择不确定性最高的视角加入训练。
• 通过在保留的测试视角上评估PSNR，比较基于不确定性的选择策略与随机选择策略的性能。

Figure 1 : An ensemble of Neural Radiance Fields can render a mean RGB image and use the colour variance in pixel space to quantify its predictive uncertainty (top). However, this naive approach to ensembling often does not capture the epistemic uncertainty in parts of a scene that were unobserved d

实验结果

研究问题

• RQ1 标准NeRF集成能否有效量化预测不确定性，特别是在场景的未观测区域？
• RQ2 在NeRF集成中引入逐射线的终止概率是否能提升认知不确定性估计？
• RQ3 通过密度感知集成量化出的不确定性能否有效指导主动场景重建中的下一最佳视角选择？
• RQ4 与随机选择相比，基于不确定性的视角选择在重建质量与收敛速度方面表现如何？
• RQ5 所提方法是否能在不修改NeRF架构或训练制度的前提下实现最先进的不确定性性能？

主要发现

• 所提出的密度感知集成在不确定性量化基准测试中优于先前方法，实现了最先进的性能，且无需改变网络架构或训练制度。
• 仅基于RGB方差的朴素集成无法检测未观测区域的不确定性，即使渲染误差很高，也常显示为零方差。
• 引入逐射线的终止概率显著提升了认知不确定性估计，尤其在遮挡或未观测到的场景部分表现更优。
• 基于不确定性的下一最佳视角选择可实现更快收敛，并在平均和最差PSNR方面优于随机选择。
• 该方法通过优先选择最能降低不确定性的视角，有效减少了最坏情况下的重建误差，表明其与真实误差具有强相关性。
• 该方法计算上可行，且与快速NeRF变体（如Instant-NGP）兼容，支持实时不确定性估计与主动学习。

Figure 3 : Ensembling is feasible and effective for moderate ensemble sizes. The Negative Log-Likelihood converges quickly for most scenes, improving negligibly beyond sizes of 5 except for T-Rex .