[论文解读] CAP-UDF: Learning Unsigned Distance Functions Progressively from Raw Point Clouds with Consistency-Aware Field Optimization

Junsheng Zhou, Baorui Ma+4 more|arXiv (Cornell University)|Oct 6, 2022

3D Shape Modeling and Analysis被引用 28

一句话总结

CAP-UDF 通过在一致性感知场损失下将查询向表面移动，直接从原始点云学习连续的无符号距离函数，从而无需 ground-truth 距离即可直接从梯度场提取表面。它逐步细化表面，并在合成数据和真实扫描上展示了先进的结果。

ABSTRACT

Surface reconstruction for point clouds is an important task in 3D computer vision. Most of the latest methods resolve this problem by learning signed distance functions from point clouds, which are limited to reconstructing closed surfaces. Some other methods tried to represent open surfaces using unsigned distance functions (UDF) which are learned from ground truth distances. However, the learned UDF is hard to provide smooth distance fields due to the discontinuous character of point clouds. In this paper, we propose CAP-UDF, a novel method to learn consistency-aware UDF from raw point clouds. We achieve this by learning to move queries onto the surface with a field consistency constraint, where we also enable to progressively estimate a more accurate surface. Specifically, we train a neural network to gradually infer the relationship between queries and the approximated surface by searching for the moving target of queries in a dynamic way. Meanwhile, we introduce a polygonization algorithm to extract surfaces using the gradients of the learned UDF. We conduct comprehensive experiments in surface reconstruction for point clouds, real scans or depth maps, and further explore our performance in unsupervised point normal estimation, which demonstrate non-trivial improvements of CAP-UDF over the state-of-the-art methods.

研究动机与目标

• 在没有 ground-truth 距离或大量训练数据的情况下，推动从原始点云进行表面重建。
• 引入一种一致性感知的无符号距离函数（UDF），引导查询趋向表面。
• 提出一种分阶段逐步近似表面的策略，以逐步细化表面。
• 开发一种直接从学习得到的 UDF 梯度场提取表面的方法。
• 在合成形状、真实扫描和场景上展示最先进的重建精度。

提出的方法

• 通过一个多层感知机网络预测三维查询 q 的无符号距离 f(q)。
• 将每个查询 q 沿负归一化梯度方向以步长 f(q) 进行移动。
• 使用一致性感知损失进行训练，将移动后的查询 z 与不断演化的点集中最近的表面点通过 Chamfer 距离进行比较。
• 在随后的阶段中，使用移动后的查询逐步更新参考点集，以细化局部几何。
• 通过改编的基于梯度的类似 marching-cubes 的过程，直接从梯度场提取表面。
• 可选地通过沿学习得到的距离场使用局部 UDF 值调整顶点位置来细化初始网格。

实验结果

研究问题

• RQ1 能否直接从原始点云学习的 UDF 在没有 ground-truth 距离的情况下，在表面附近产生平滑的距离场？
• RQ2 一致性感知损失在从离散点云学习 UDF 时是否能稳定训练并防止场变形？
• RQ3 在无需 BPA 后处理的情况下，能否直接从学习得到的 UDF 的梯度场提取具有开放拓扑结构的表面？
• RQ4 与单阶段训练相比，分阶段的表面近似是否能改善细节捕获和收敛性？
• RQ5 相对于最新的无符号距离方法，CAP-UDF 在合成数据和真实扫描数据上的表现如何？

主要发现

• CAP-UDF 能从原始点云获得连续的无符号距离场，而无需 ground-truth 距离或大规模训练数据。
• 一致性感知场损失减缓了相互冲突的优化方向，产生更准确、近表面的平滑场。
• 带有移动查询先验的渐进阶段在迭代中改善局部细节和表面保真度。
• 直接从学习得到的 UDF 进行基于梯度的表面提取，生成具有任意拓扑的高质量表面，避免 BPA。
• 经验结果在 ShapeNet 汽车（合成）、MGD 实际扫描、SRB 实际扫描和 OnSurf 场景基准的多项指标上显示出最先进的性能。
• 消融研究证实一致性损失、渐进阶段和表面提取方法的有效性。