[论文解读] Learning Occupancy Function from Point Clouds for Surface Reconstruction

Jia Meng, Matthew Kyan|arXiv (Cornell University)|Oct 22, 2020

3D Shape Modeling and Analysis参考文献 51被引用 13

一句话总结

该论文提出了一种基于PCNN的方法，用于从稀疏点云中学习占据函数，通过一种新颖的采样算子保留几何不变性与局部细节。该方法在ShapeNet数据集上实现了最先进的表面重建性能，并在McGill数据集上展现出强大的泛化能力和旋转不变性，无需依赖标准姿态即可更准确地捕捉细微形状特征。

ABSTRACT

Implicit function based surface reconstruction has been studied for a long time to recover 3D shapes from point clouds sampled from surfaces. Recently, Signed Distance Functions (SDFs) and Occupany Functions are adopted in learning-based shape reconstruction methods as implicit 3D shape representation. This paper proposes a novel method for learning occupancy functions from sparse point clouds and achieves better performance on challenging surface reconstruction tasks. Unlike the previous methods, which predict point occupancy with fully-connected multi-layer networks, we adapt the point cloud deep learning architecture, Point Convolution Neural Network (PCNN), to build our learning model. Specifically, we create a sampling operator and insert it into PCNN to continuously sample the feature space at the points where occupancy states need to be predicted. This method natively obtains point cloud data's geometric nature, and it's invariant to point permutation. Our occupancy function learning can be easily fit into procedures of point cloud up-sampling and surface reconstruction. Our experiments show state-of-the-art performance for reconstructing With ShapeNet dataset and demonstrate this method's well-generalization by testing it with McGill 3D dataset \cite{siddiqi2008retrieving}. Moreover, we find the learned occupancy function is relatively more rotation invariant than previous shape learning methods.

研究动机与目标

• 解决利用深度学习从稀疏、噪声大或非均匀点云中重建详细3D表面的挑战。
• 改进现有基于学习的隐式函数方法，这些方法依赖于标准姿态，且在未见形状或旋转下泛化能力差。
• 通过将PCNN与自定义采样算子结合，从点云结构中利用几何先验，实现占据预测。
• 通过学习局部几何证据而非典型形状先验，实现更高的重建保真度与鲁棒性。
• 实现可扩展、旋转不变且泛化能力强的3D形状重建，适用于多种数据集与输入密度。

提出的方法

• 该方法采用一种带有新型采样算子的点卷积神经网络（PCNN），以连续且几何感知的方式预测查询点的占据状态。
• 采样算子通过在需预测占据状态的点上采样特征空间，实现分层的、从粗到细的特征提取，同时保持排列不变性。
• 占据函数端到端地从稀疏点云输入中学习，网络将输入几何映射为连续的体素指示函数。
• 预测的占据函数在多个分辨率下进行体素化，并通过Marching Cubes算法转换为网格。
• 网络架构具有可扩展性：PCNN层中的卷积核大小随每层点数的倒数进行调整，以保持感受野一致性。
• 该方法在ShapeNet-13上进行训练，并在ShapeNet和McGill数据集上进行评估，同时在未见类别上测试零样本泛化能力。

实验结果

研究问题

• RQ1 与全连接网络相比，基于PCNN的架构结合自定义采样算子是否能从稀疏点云中学习到具有更好几何保真度的占据函数？
• RQ2 所提出的方法是否在未见物体类别上实现更好的泛化能力，并对旋转等几何变换具有更强的鲁棒性？
• RQ3 基于局部几何证据的学习在多大程度上优于依赖标准姿态和类别级先验的形状生成方法？
• RQ4 输入点云密度和噪声水平如何影响重建质量？该方法在更丰富的输入数据下是否具备良好的可扩展性？
• RQ5 与现有隐式函数学习框架（如ONet）相比，所学习的占据函数是否具有更强的旋转不变性？

主要发现

• 所提出方法在ShapeNet-13数据集上达到最先进性能，输入点数为1000、噪声水平为5%时，IoU为0.870，Ch.L1为0.045。
• 该方法在未见类别上泛化良好：无需微调即可成功重建McGill数据集中的物体，且在零样本设置下优于ONet。
• 模型展现出强大的旋转不变性：当ONet在小角度旋转下失效时，该方法在旋转输入下仍能保持一致的重建质量。
• 随着输入点云密度提高和噪声降低，重建质量显著提升：在5%噪声下，点数从150增至1000时，IoU从0.05提升至0.870。
• 该方法通过依赖局部形状证据而非典型形状拟合，更准确地捕捉了精细几何细节，优于以往基于学习的方法。
• 所学习的占据函数对输入变化更具鲁棒性，能更好地保留形状特异性特征，尤其在复杂或非标准几何结构中表现更优。