[论文解读] Iso-Points: Optimizing Neural Implicit Surfaces with Hybrid Representations

Yifan Wang, Shihao Wu+2 more|arXiv (Cornell University)|Dec 11, 2020

3D Shape Modeling and Analysis参考文献 50被引用 4

一句话总结

本文提出Iso-Points，一种混合神经表面表示方法，结合神经隐式函数与动态更新的、具备几何感知能力的点云，以提升优化稳定性与重建质量。通过在训练过程中实时对等值点进行投影、重采样和上采样，该方法实现了有效的几何正则化，从而实现更快的收敛速度、更好的泛化能力，并能更优地恢复噪声或不完整数据（如稀疏或损坏的点云、多视角图像）中的细节与拓扑结构。

ABSTRACT

Neural implicit functions have emerged as a powerful representation for surfaces in 3D. Such a function can encode a high quality surface with intricate details into the parameters of a deep neural network. However, optimizing for the parameters for accurate and robust reconstructions remains a challenge, especially when the input data is noisy or incomplete. In this work, we develop a hybrid neural surface representation that allows us to impose geometry-aware sampling and regularization, which significantly improves the fidelity of reconstructions. We propose to use \emph{iso-points} as an explicit representation for a neural implicit function. These points are computed and updated on-the-fly during training to capture important geometric features and impose geometric constraints on the optimization. We demonstrate that our method can be adopted to improve state-of-the-art techniques for reconstructing neural implicit surfaces from multi-view images or point clouds. Quantitative and qualitative evaluations show that, compared with existing sampling and optimization methods, our approach allows faster convergence, better generalization, and accurate recovery of details and topology.

研究动机与目标

• 解决从噪声或不完整的3D数据（如稀疏或损坏的点云、多视角图像）优化神经隐式表面的挑战。
• 通过显式、自适应的点表示引入几何约束，提升重建保真度。
• 通过利用动态、具备几何感知能力的采样方法，实现神经隐式表面拟合的更快收敛与更好泛化能力。
• 通过在隐式函数与等值点之间实现双向转换，弥合隐式神经表示与显式几何处理工具之间的差距。
• 在无需真实标签监督的情况下，提升3D重建的拓扑准确性与细节保持能力。

提出的方法

• 该方法将等值点定义为从神经隐式函数的零水平集导出的显式、实时采样的点云表示。
• 采用多阶段采样流程：将点投影到隐式表面上，对采样不足区域进行重采样，以及通过上采样实现密集覆盖。
• 所有操作均在GPU上加速，且仅依赖于局部点邻域，确保训练过程中的高效性与可扩展性。
• 通过利用等值点的空间分布与曲率特征，实施几何感知正则化，以引导优化过程并抑制噪声与伪影。
• 该混合表示可无缝集成至现有优化流程（如光线追踪或可微渲染）中，计算开销极低。
• 在投影前对等值点进行过滤以去除被遮挡的点，从而降低计算成本并提升优化效率。

实验结果

研究问题

• RQ1 结合神经隐式函数与显式点云的混合表示能否提升从不完美数据中重建3D表面的优化稳定性和重建质量？
• RQ2 如何在不增加计算成本的前提下，有效整合几何感知采样与正则化方法至神经隐式表面优化中？
• RQ3 等值点在从噪声或稀疏输入中恢复细节与提升拓扑准确性方面能达到何种程度？
• RQ4 该方法能否以最小修改高效集成至现有的多视角或点云重建流水线中？
• RQ5 实时提取等值点是否相比标准优化策略能带来更快的收敛速度与更好的泛化能力？

主要发现

• 所提方法相比基线优化策略收敛速度更快，在图10中显示达到指定Chamfer距离阈值的速度最高快2倍。
• 在DTU-MVS数据集上，该方法将平均L1-Chamfer距离降低至0.53，优于基线（0.61）、筛选泊松重建（0.47）和Points2Surf（0.52）。
• 对于DTU-MVS数据集中的模型122，该方法实现0.42的Chamfer距离，显著低于基线（0.50），表明在噪声稀疏输入下具有更优的重建精度。
• 该方法能有效抑制拓扑噪声及表面伪影（如由输入数据中的异常值和孔洞引起的“水滴状”突起与凸起）。
• 等值点提取的计算开销极低——通常仅相当于3次训练迭代，使其在实时或迭代优化流水线中具有实用性。
• 在多视角重建中，该方法能有效保持细微几何细节，如与基线及最先进方法相比，特征恢复能力得到显著提升。