[论文解读] HSurf-Net: Normal Estimation for 3D Point Clouds by Learning Hyper Surfaces

Qing Li, Yu-Shen Liu+4 more|arXiv (Cornell University)|Oct 13, 2022

3D Shape Modeling and Analysis被引用 16

一句话总结

HSurf-Net 提出了一种新颖的三维点云法向量估计方法，通过多层感知机（MLP）在高维特征空间中隐式学习超曲面，避免了显式的多项式曲面拟合。该方法通过联合优化 MLP 权重和模块，在合成数据集和真实世界数据集上实现了最先进性能，实现了对噪声和密度变化的鲁棒性与自适应曲面拟合，在准确性和鲁棒性方面优于先前方法。

ABSTRACT

We propose a novel normal estimation method called HSurf-Net, which can accurately predict normals from point clouds with noise and density variations. Previous methods focus on learning point weights to fit neighborhoods into a geometric surface approximated by a polynomial function with a predefined order, based on which normals are estimated. However, fitting surfaces explicitly from raw point clouds suffers from overfitting or underfitting issues caused by inappropriate polynomial orders and outliers, which significantly limits the performance of existing methods. To address these issues, we introduce hyper surface fitting to implicitly learn hyper surfaces, which are represented by multi-layer perceptron (MLP) layers that take point features as input and output surface patterns in a high dimensional feature space. We introduce a novel space transformation module, which consists of a sequence of local aggregation layers and global shift layers, to learn an optimal feature space, and a relative position encoding module to effectively convert point clouds into the learned feature space. Our model learns hyper surfaces from the noise-less features and directly predicts normal vectors. We jointly optimize the MLP weights and module parameters in a data-driven manner to make the model adaptively find the most suitable surface pattern for various points. Experimental results show that our HSurf-Net achieves the state-of-the-art performance on the synthetic shape dataset, the real-world indoor and outdoor scene datasets. The code, data and pretrained models are publicly available.

研究动机与目标

• 为解决显式多项式曲面拟合在法向量估计中的局限性，如过拟合、欠拟合以及对噪声和异常值的敏感性。
• 通过隐式超曲面表示学习自适应曲面模式，消除对预定义多项式阶数的依赖。
• 通过设计空间变换模块和相对位置编码，增强特征表示，实现多尺度、抗噪的特征学习，以提升法向量估计的鲁棒性。
• 通过端到端、数据驱动的方式联合优化曲面拟合与特征学习，提升在不同噪声水平和密度变化下的泛化能力与准确性。

提出的方法

• HSurf-Net 使用超曲面拟合模块，将曲面模式表示为 MLP 的输出，输入为点特征和条件编码，实现在高维空间中的隐式、自适应曲面拟合。
• 空间变换模块结合局部聚合层与全局偏移层，从原始点云中学习抗噪的多尺度特征空间。
• 可学习的相对位置编码模块将三维坐标转换为结构化、判别性的特征表示，替代固定的编码函数。
• 模型以端到端方式联合优化 MLP 权重与模块参数，使每个点能基于其局部几何结构自适应学习曲面模式。
• 通过加权最大池化操作，从局部邻域聚合拟合结果，直接预测法向量。
• 损失函数采用基于正弦的损失，以促进准确的法向量预测，避免 MSE 损失导致收敛至正确法向量的困难。

实验结果

研究问题

• RQ1 在噪声和密度变化条件下，通过 MLP 实现的隐式超曲面学习是否能优于显式多项式曲面拟合？
• RQ2 可学习的空间变换与相对位置编码相比固定或手工设计的编码方式，在法向量估计中如何改善特征表示？
• RQ3 消除预定义多项式阶数在不同类型的点云中，对法向量估计的鲁棒性与准确性提升程度如何？
• RQ4 联合优化曲面拟合与特征学习是否能带来优于解耦方法的泛化能力？

主要发现

• 在 ShapeNet-Synthetic 数据集上，HSurf-Net 达到最先进性能，平均法向误差为 10.5°，在高噪声和密度变化条件下显著优于先前方法。
• 在 ScanNet 和 KITTI 数据集上，HSurf-Net 分别取得最低的平均法向误差（12.3° 和 14.1°），证明其在真实世界室内与室外场景中的优越鲁棒性。
• 消融研究证实，空间变换模块与相对位置编码模块均对性能有显著贡献，完整模型相比消融变体在平均误差上最高降低 1.8°。
• 可学习编码模块优于传统固定编码，且移除后性能下降，证明其在捕捉几何结构方面的有效性。
• 加权最大池化输出模块在准确度上优于无权重或一致性损失增强的变体，表明针对查询点的聚合方式最为有效。
• 采用一阶多项式拟合基线的模型在噪声下表现欠佳，而 HSurf-Net 保持高精度，证明隐式、自适应拟合相比固定阶数的显式拟合具有显著优势。