[论文解读] A Survey and Benchmark of Automatic Surface Reconstruction from Point Clouds

Raphael Sulzer, Renaud Marlet+2 more|arXiv (Cornell University)|Jan 31, 2023

3D Shape Modeling and Analysis被引用 7

一句话总结

本文对从三维点云进行表面重建的传统方法与基于学习的方法进行了全面的综述与基准测试，评估了其在标准化、真实条件下的性能表现。研究发现，尽管基于学习的模型在具有相似特征的分布内数据上优于传统方法，但传统方法在应对真实采集缺陷（如噪声、离群点和非均匀采样）方面仍更具鲁棒性。

ABSTRACT

We present a comprehensive survey and benchmark of both traditional and learning-based methods for surface reconstruction from point clouds. This task is particularly challenging for real-world acquisitions due to factors such as noise, outliers, non-uniform sampling, and missing data. Traditional approaches often simplify the problem by imposing handcrafted priors on either the input point clouds or the resulting surface, a process that can require tedious hyperparameter tuning. In contrast, deep learning models have the capability to directly learn the properties of input point clouds and desired surfaces from data. We study the influence of handcrafted and learned priors on the precision and robustness of surface reconstruction techniques. We evaluate various time-tested and contemporary methods in a standardized manner. When both trained and evaluated on point clouds with identical characteristics, the learning-based models consistently produce higher-quality surfaces compared to their traditional counterparts -- even in scenarios involving novel shape categories. However, traditional methods demonstrate greater resilience to the diverse anomalies commonly found in real-world 3D acquisitions. For the benefit of the research community, we make our code and datasets available, inviting further enhancements to learning-based surface reconstruction. This can be accessed at https://github.com/raphaelsulzer/dsr-benchmark .

研究动机与目标

• 系统性地在一致且真实的条件下评估并比较传统方法与基于学习的表面重建方法。
• 研究基于深度学习的方法在未见形状类别和未见采集缺陷上的泛化能力。
• 评估方法对真实点云异常（如噪声、离群点、非均匀采样和缺失数据）的鲁棒性。
• 提供一个标准化基准，包含公开可用的代码与数据集，以支持未来在深度表面重建领域的研究。
• 识别当前基于学习的方法的局限性，特别是对分布外缺陷的处理能力，并为未来方法的发展提供指导。

提出的方法

• 作者使用一系列公开可用的形状数据集，其具有已知的真实网格作为地面真值，以评估重建质量。
• 通过模拟多视图立体（MVS）扫描流程，生成具有真实采集特征（如非均匀采样、噪声、离群点和缺失数据）的合成点云。
• 该基准包含合成点云与真实世界点云，从而可在已知真实表面和实际应用场景下进行评估。
• 在相同的训练与测试条件下，评估传统方法（如 SPSR、RESR）与基于学习的模型（如 SAP、DGNN、POCO、P2S、IGR）。
• 使用标准指标（如 Chamfer Distance、Hausdorff Distance 和 F-Score）衡量几何与拓扑重建质量。
• 还评估了运行时与推理效率，尤其针对实时或部署相关应用。

\alphalph

实验结果

研究问题

• RQ1 在具有真实缺陷的点云上，基于学习的表面重建方法与传统方法在几何与拓扑精度方面如何比较？
• RQ2 当在训练数据中未包含的新形状类别上，基于学习的模型能多大程度上实现泛化？
• RQ3 基于学习的方法对分布外的采集缺陷（如未知的离群点模式或极端非均匀采样）的鲁棒性如何？
• RQ4 传统方法是否能在包括噪声和缺失数据在内的多种点云特征下保持一致的性能表现？
• RQ5 在现代表面重建流程中，重建质量、鲁棒性与推理速度之间存在怎样的权衡？

主要发现

• 当在具有相似特征的点云上进行训练与测试时，基于学习的模型始终能生成比传统方法更高质量的表面。
• 当在大规模复杂数据集（如 30k 个形状）上进行训练时，基于学习的方法能泛化到训练数据中未出现的新形状类别，表明其学习的是数据中的通用先验，而非特定形状特征。
• 传统方法如 SPSR 和 RESR 在对真实采集缺陷（如噪声、离群点和缺失数据）的鲁棒性方面优于大多数基于学习的模型。
• SAP 和 DGNN 等方法在速度与鲁棒性之间取得了良好平衡，其中 SAP 是所评估方法中速度最快者。
• 基于优化的基于学习方法（如 IGR、POCO）对领域偏移的适应能力有限，在多数场景下并未优于传统技术。
• 该基准揭示了一个关键差距：当前基于学习的模型对未见或复杂采集缺陷缺乏鲁棒性，凸显了需要更真实的数据进行训练。

\alphalph