[论文解读] MonoNeuralFusion: Online Monocular Neural 3D Reconstruction with Geometric Priors

Zi–Xin Zou, Shi-Sheng Huang+4 more|arXiv (Cornell University)|Sep 30, 2022

Advanced Vision and Imaging被引用 5

一句话总结

MonoNeuralFusion 提出了一种基于神经隐式场景表示与体素渲染的在线单目 3D 重建方法，通过几何先验（表面法线、eikonal 正则化和法线图）引导，实现高保真、细粒度的几何重建。通过将几何先验同时整合到隐式表示和体素渲染优化中，该方法在实时扫描过程中实现了高效、增量式的表面细化，无需微调即可在完整性和细节保留方面超越最先进方法。

ABSTRACT

High-fidelity 3D scene reconstruction from monocular videos continues to be challenging, especially for complete and fine-grained geometry reconstruction. The previous 3D reconstruction approaches with neural implicit representations have shown a promising ability for complete scene reconstruction, while their results are often over-smooth and lack enough geometric details. This paper introduces a novel neural implicit scene representation with volume rendering for high-fidelity online 3D scene reconstruction from monocular videos. For fine-grained reconstruction, our key insight is to incorporate geometric priors into both the neural implicit scene representation and neural volume rendering, thus leading to an effective geometry learning mechanism based on volume rendering optimization. Benefiting from this, we present MonoNeuralFusion to perform the online neural 3D reconstruction from monocular videos, by which the 3D scene geometry is efficiently generated and optimized during the on-the-fly 3D monocular scanning. The extensive comparisons with state-of-the-art approaches show that our MonoNeuralFusion consistently generates much better complete and fine-grained reconstruction results, both quantitatively and qualitatively.

研究动机与目标

• 为解决单目视频重建中常见的不完整与过度平滑问题，特别是捕捉细微几何细节的挑战。
• 开发一种高效、在线的重建系统，能够在扫描过程中逐步构建并细化 3D 几何结构，适用于实时应用。
• 通过将几何先验（如表面法线和 eikonal 正则化）整合到神经隐式表示与体素渲染中，提升几何保真度。
• 克服现有方法依赖深度图或简单特征融合所导致的模糊或细节丢失问题。
• 通过使用预训练权重实现高质量重建，无需进一步微调，提升实际部署的可行性。

提出的方法

• 将神经隐式场景表示（NISR）建模为稀疏特征体素，解码为连续的符号距离函数（SDF），实现灵活且精细的几何编码。
• 在体素渲染中引入分层采样策略，确保光线仅在占据的稀疏体素内采样，从而提升渲染效率与准确性。
• 将几何先验（表面法线先验、eikonal 正则化、法线图先验）同时融入 NISR 学习与体素渲染优化，以增强几何细节的学习能力。
• 采用在线体素渲染优化步骤，利用预测的法线图与颜色一致性对稀疏特征体素进行细化，提升重建召回率与细节表现。
• 采用两阶段优化：扫描过程中的增量在线细化，以及扫描后简短的单场景微调，进一步提升重建质量。
• 利用来自 ScanNet 数据集的预训练权重，并直接应用于新场景，无需额外微调，实现快速部署。

实验结果

研究问题

• RQ1 能否有效将几何先验整合到神经隐式场景表示中，以提升从单目视频重建细粒度 3D 几何结构的能力？
• RQ2 如何在实时环境中优化体素渲染，以在在线重建过程中增强几何细节？
• RQ3 稀疏特征体素表示是否能在保持计算效率的同时，优于依赖分辨率的 SDF，从而更好地捕捉细微细节？
• RQ4 预训练的神经表示在无微调条件下，对新场景的泛化能力有多强，尤其是在在线设置中？
• RQ5 几何先验在薄部件或镜面等复杂区域中，对重建表面的一致性与完整性有何影响？

主要发现

• MonoNeuralFusion 在多个基准测试中达到最先进水平的重建质量，在定量指标与视觉保真度方面显著优于现有在线单目方法。
• 几何先验的整合，尤其是法线图预测，显著提升了表面细节表现，如沙发缝隙与椅子腿等细节，如定性对比所示。
• 体素渲染优化显著提升了 F-score 与召回率，尤其在填补缺失区域（如显示器与楼梯）方面表现突出，如图 10 所示。
• 该方法仅使用 ScanNet 数据集的预训练权重即可实现高质量重建，无需任何微调，表明其具备强大的泛化能力。
• 在优化中引入颜色表示可提供超越仅使用法线图的视觉细节增强，如图 11 所示。
• 尽管性能有所提升，该方法在镜面重建、法线预测不一致以及细长或复杂结构方面仍存在挑战，提示未来改进空间。