[论文解读] Density Uncertainty Quantification with NeRF-Ensembles: Impact of Data and Scene Constraints

Miriam Jäger, Steven Landgraf+1 more|arXiv (Cornell University)|Dec 22, 2023

Optical measurement and interference techniques被引用 4

一句话总结

本文提出 NeRF-Ensembles 以量化神经辐射场中的密度不确定性，提升 3D 重建的鲁棒性，并实现后处理伪影去除。通过训练多个独立初始化的 NeRF，该方法通过密度预测的方差估计不确定性，减少噪声和雾状伪影，同时利用均值密度输出增强结构完整性。

ABSTRACT

In the fields of computer graphics, computer vision and photogrammetry, Neural Radiance Fields (NeRFs) are a major topic driving current research and development. However, the quality of NeRF-generated 3D scene reconstructions and subsequent surface reconstructions, heavily relies on the network output, particularly the density. Regarding this critical aspect, we propose to utilize NeRF-Ensembles that provide a density uncertainty estimate alongside the mean density. We demonstrate that data constraints such as low-quality images and poses lead to a degradation of the training process, increased density uncertainty and decreased predicted density. Even with high-quality input data, the density uncertainty varies based on scene constraints such as acquisition constellations, occlusions and material properties. NeRF-Ensembles not only provide a tool for quantifying the uncertainty but exhibit two promising advantages: Enhanced robustness and artifact removal. Through the utilization of NeRF-Ensembles instead of single NeRFs, small outliers are removed, yielding a smoother output with improved completeness of structures. Furthermore, applying percentile-based thresholds on density uncertainty outliers proves to be effective for the removal of large (foggy) artifacts in post-processing. We conduct our methodology on 3 different datasets: (i) synthetic benchmark dataset, (ii) real benchmark dataset, (iii) real data under realistic recording conditions and sensors.

研究动机与目标

• 研究数据与场景约束如何影响基于 NeRF 的 3D 重建中的密度不确定性。
• 评估 NeRF-Ensembles 相较于单个 NeRF 在提升鲁棒性与减少伪影方面的性能。
• 探索利用密度不确定性进行后处理伪影去除，特别是雾状与鬼影伪影。
• 识别影响训练性能与不确定性的关键因素，如图像质量、位姿准确性、遮挡情况以及材质属性。
• 建立使用 NeRF-Ensembles 实现高质量 3D 重建的最佳实践，优化数据与采集条件。

提出的方法

• 通过随机初始化的独立 NeRF 训练多成员 NeRF-Ensemble，利用集合成员间的方差估计密度不确定性。
• 使用集合成员间密度的均值生成更鲁棒且完整的 3D 重建，减少小范围异常值与噪声。
• 对密度不确定性应用分位数阈值，识别并移除高不确定性体素，有效在后处理中消除大范围（雾状）伪影。
• 通过向输入数据注入图像噪声（σ_Im）和位姿噪声（σ_t, σ_R, σ_t,R）评估数据约束对 PSNR 和不确定性的影响。
• 分析视图覆盖缺口、遮挡情况以及材质属性（如反射率）等场景约束对 3D 空间中不确定性分布的影响。
• 在三个数据集上开展实验：合成数据集、真实基准数据集以及在真实记录条件下获取的真实世界数据，以验证泛化能力。

Figure 1: Flowchart of the methodology: Input data are the images and corresponding camera poses. A NeRF-Ensemble with a total number of M members is trained. The NeRF-Ensemble provides an average network output with mean density values over all NeRFs in the ensemble and a corresponding density unce

实验结果

研究问题

• RQ1 图像噪声与位姿噪声如何影响 NeRF 的训练性能与密度不确定性？
• RQ2 遮挡、视图覆盖不足及高反射材质等场景级约束如何影响 NeRF 重建中的密度不确定性？
• RQ3 与单个 NeRF 相比，使用 NeRF-Ensembles 在多大程度上提升了重建鲁棒性？
• RQ4 NeRF-Ensembles 的密度不确定性量化能否有效指导后处理伪影去除？
• RQ5 为最小化密度不确定性并最大化重建质量，最优的数据与采集条件是什么？

主要发现

• 位姿噪声在平移（σ_t）、旋转（σ_R）及其组合（σ_t,R）方向上显著降低 PSNR 并增加密度不确定性，而图像噪声（σ_Im）虽降低 PSNR，但不必然增加不确定性。
• 即使输入数据质量较高，由于采集构型问题及材质属性（如反射率）的影响，遮挡或覆盖不足区域的密度不确定性仍会升高。
• NeRF-Ensembles 的均值密度输出可减少小范围异常值，提升结构完整性，生成比单个 NeRF 更平滑、更完整的重建结果。
• 对密度不确定性应用分位数阈值可有效在后处理中去除大范围（雾状）伪影，显著提升视觉质量与几何保真度。
• 高质量位姿比无噪声图像更关键，可最小化密度不确定性，凸显准确相机标定在 NeRF 流程中的重要性。
• NeRF-Ensembles 提供了可靠的不确定性量化，既提升了重建鲁棒性，又支持针对性伪影去除，证明了额外训练成本的合理性。