[论文解读] Bayes' Rays: Uncertainty Quantification for Neural Radiance Fields

Lily Goli, Cody Reading+3 more|arXiv (Cornell University)|Sep 6, 2023

Cell Image Analysis Techniques被引用 5

一句话总结

BayesRays 提出了一种后处理贝叶斯不确定性量化框架，用于预训练的神经辐射场（NeRFs），通过空间扰动和损失函数 Hessian 矩阵的拉普拉斯近似实现。该方法在无需微调的情况下，不到一分钟内即可计算出空间不确定性场，支持实时伪影消除，并在与深度误差的相关性上优于先前的方法。

ABSTRACT

Neural Radiance Fields (NeRFs) have shown promise in applications like view synthesis and depth estimation, but learning from multiview images faces inherent uncertainties. Current methods to quantify them are either heuristic or computationally demanding. We introduce BayesRays, a post-hoc framework to evaluate uncertainty in any pre-trained NeRF without modifying the training process. Our method establishes a volumetric uncertainty field using spatial perturbations and a Bayesian Laplace approximation. We derive our algorithm statistically and show its superior performance in key metrics and applications. Additional results available at: https://bayesrays.github.io.

研究动机与目标

• 为解决 NeRF 中缺乏系统性且高效的不确定性量化问题，特别是由于遮挡和视图缺失导致的主体性不确定性。
• 开发一种适用于任何预训练 NeRF 架构的方法，无需访问训练图像或重新训练。
• 实现实际应用，例如通过阈值化不确定性场来清理 NeRF 伪影。
• 提供具有统计基础的不确定性估计，使其与重建误差具有有意义的相关性。

提出的方法

• 通过使用学习到的形变场对 NeRF 采样点的 3D 坐标进行形变，对辐射场施加空间扰动。
• 采用贝叶斯拉普拉斯近似，估计在训练解附近的模型权重后验分布，重点关注 Hessian 矩阵的对角线。
• 在大小为 $M^3$ 的均匀 3D 网格上离散化形变场，以支持三线性插值，从而实现空间不确定性估计。
• 将不确定性场作为 Hessian 近似的一个副产品计算得出，随后渲染为额外的颜色通道。
• 利用不确定性场通过阈值化实现实时、交互式的 NeRF 清理，去除如浮动物体等伪影。
• 通过将所有必要信息存储在 Hessian 矩阵 $\mathbf{H}$ 中，避免使用可见性掩码和训练数据。

Figure 2 : Inspired by uncertainty quantification in classic photogrammetry (left), we find epistemic uncertainty in NeRF (right).

实验结果

研究问题

• RQ1 是否可以在不修改训练过程或不依赖训练数据的情况下，对 NeRF 中的主体性不确定性进行后处理量化？
• RQ2 与现有方法相比，所提出的不确定性场与实际深度重建误差的相关性如何？
• RQ3 不确定性场是否能有效实现实时去除 NeRF 伪影（如浮动物体）？
• RQ4 该方法在不同 NeRF 架构和场景类型下的鲁棒性如何？
• RQ5 网格分辨率 ($M^3$) 和不确定性阈值对伪影去除质量与计算成本的影响如何？

主要发现

• BayesRays 可在不到一分钟内为任意预训练 NeRF 计算出空间不确定性场，无论其架构或训练细节如何。
• 不确定性场与深度误差表现出强相关性，在关键指标上优于先前的启发式与概率性方法。
• 通过阈值化不确定性场，可实现实时、交互式的 NeRF 清理，去除浮动物体且不引入采样伪影。
• 该方法在具有挑战性的场景（如 'Pikachu' 和 'Flowers' 场景）中成功去除了伪影，而 Nerfbusters 在这些场景中失败。
• 不确定性场对 NeRF 架构不敏感，这在 'Lego' 场景中对 Mip-NeRF、Instant NGP 和 Nerfacto 的实验中得到验证。
• 该方法仅捕捉主体性不确定性，未建模随机性噪声，因此无法解决由噪声训练视图引起的不一致性。

Figure 3 : BayesRays applied to different NeRF architectures. ”Lego” [ 24 ] is only trained with cameras on its left hemisphere.