[论文解读] MonoSDF: Exploring Monocular Geometric Cues for Neural Implicit Surface Reconstruction

Zehao Yu, Songyou Peng+3 more|arXiv (Cornell University)|Jun 1, 2022

Advanced Vision and Imaging被引用 166

一句话总结

MonoSDF 将单目深度与法线线索整合到神经隐式表面重建中，在各种场景和表示（MLP和基于网格）中提高准确性和收敛性。

ABSTRACT

In recent years, neural implicit surface reconstruction methods have become popular for multi-view 3D reconstruction. In contrast to traditional multi-view stereo methods, these approaches tend to produce smoother and more complete reconstructions due to the inductive smoothness bias of neural networks. State-of-the-art neural implicit methods allow for high-quality reconstructions of simple scenes from many input views. Yet, their performance drops significantly for larger and more complex scenes and scenes captured from sparse viewpoints. This is caused primarily by the inherent ambiguity in the RGB reconstruction loss that does not provide enough constraints, in particular in less-observed and textureless areas. Motivated by recent advances in the area of monocular geometry prediction, we systematically explore the utility these cues provide for improving neural implicit surface reconstruction. We demonstrate that depth and normal cues, predicted by general-purpose monocular estimators, significantly improve reconstruction quality and optimization time. Further, we analyse and investigate multiple design choices for representing neural implicit surfaces, ranging from monolithic MLP models over single-grid to multi-resolution grid representations. We observe that geometric monocular priors improve performance both for small-scale single-object as well as large-scale multi-object scenes, independent of the choice of representation.

研究动机与目标

• 当多视图线索有限或纹理缺失时，推动鲁棒的三维重建。
• 研究单目深度和法线预测如何约束神经隐式表面。
• 系统比较神经隐式表示（MLP、密集网格、单分辨率网格、多分辨率网格）。
• 在对象级和房间/场景尺度的数据集上评估 MonoSDF，以评估可扩展性和效率。

提出的方法

• 将场景几何表示为 SDF，参数化四种选项：密集 SDF 网格、单一 MLP、单分辨率特征网格、以及多分辨率特征网格。
• 通过可微分体积渲染进行渲染，获得用于优化的 RGB、深度和法线。
• 使用预训练的 Omnidata 模型预测单目线索（深度和法线），并将它们用作监督信号。
• 定义损失包含 RGB 重建、Eikonal 正则化、深度一致性和法线一致性，以及每个批次的尺度/平移对齐。
• 使用 Adam 对场景表示与外观进行联合优化，结合线索增强的损失。

实验结果

研究问题

• RQ1 在纹理稀疏或多对象场景中，单目深度和法线线索是否能改善神经隐式表面的重建？
• RQ2 哪些神经隐式表示（MLP 与网格为基础）在质量和收敛速度方面从单目先验中获益最大？
• RQ3 深度与法线先验如何与基于 RGB 的监督在不同场景尺度上相互作用与互补？

主要发现

• 单目线索显著提升了 MLP 与多分辨率网格的重建质量，在同时使用深度与法线线索时效果最好。
• 在 Replica 数据集的网格化表示中，若不使用线索，多分辨率网格优于其他；但有线索时，两种架构都改进且收敛速度提升。
• 在许多具有挑战性的设置中，带有单目线索的 MLP 取得最强的整体结果，尽管其收敛速度慢于网格。
• 在 ScanNet 上，MLP 变体优于基线，生成更平滑且细节更多的重建。
• DTU 稀疏视图实验表明，线索使两种模型都能获得强性能，网格在密集视图下对线索受益更多。
• 多模态评估表明单目先验使在对象、房间和场景级数据上的可扩展、鲁棒重建成为可能。