[论文解读] Deep Implicit Moving Least-Squares Functions for 3D Reconstruction

Shilin Liu, Haoxiang Guo+4 more|arXiv (Cornell University)|Mar 23, 2021

3D Shape Modeling and Analysis参考文献 53被引用 8

一句话总结

该论文提出IMLSNets，一种结合点集与隐式移动最小二乘（IMLS）曲面的深度学习框架，实现高质量的3D重建。通过使用八叉树结构的解码器预测有方向的IMLS点，该方法生成平滑、连续的曲面，推理速度快，在基准数据集上的重建质量与效率均优于当前最先进方法。

ABSTRACT

Point set is a flexible and lightweight representation widely used for 3D deep learning. However, their discrete nature prevents them from representing continuous and fine geometry, posing a major issue for learning-based shape generation. In this work, we turn the discrete point sets into smooth surfaces by introducing the well-known implicit moving least-squares (IMLS) surface formulation, which naturally defines locally implicit functions on point sets. We incorporate IMLS surface generation into deep neural networks for inheriting both the flexibility of point sets and the high quality of implicit surfaces. Our IMLSNet predicts an octree structure as a scaffold for generating MLS points where needed and characterizes shape geometry with learned local priors. Furthermore, our implicit function evaluation is independent of the neural network once the MLS points are predicted, thus enabling fast runtime evaluation. Our experiments on 3D object reconstruction demonstrate that IMLSNets outperform state-of-the-art learning-based methods in terms of reconstruction quality and computational efficiency. Extensive ablation tests also validate our network design and loss functions.

研究动机与目标

• 解决基于深度学习的3D形状生成中几何保真度与计算效率之间的权衡问题。
• 克服基于学习的3D重建中点集的离散性与粗糙性，同时避免全局隐式函数评估的高成本。
• 将隐式移动最小二乘（IMLS）曲面整合进深度神经网络，实现从学习得到的点集生成平滑、连续的曲面。
• 通过在IMLS点预测后将曲面评估与神经网络解耦，实现在运行时的快速评估。
• 设计一种可学习的、自适应的点生成策略，利用八叉树仅在需要的位置放置IMLS点，提升泛化能力与效率。

提出的方法

• 使用基于八叉树的解码器预测可变数量的有方向点，作为IMLS曲面构建的骨架。
• 应用隐式移动最小二乘（IMLS）公式定义一个局部隐式函数，将3D点映射到有符号距离，从而实现平滑的零水平集曲面。
• 采用多分量损失函数进行网络训练：包括曲面梯度损失、点排斥损失、投影平滑损失和半径平滑损失，以正则化点分布与曲面质量。
• 仅在八叉树节点位置进行监督与评估，利用IMLS曲面的局部特性以降低计算成本。
• 在IMLS点预测后将曲面评估与网络解耦，实现在无需重新运行网络的前提下实现快速的逐点评估。
• 为每个点使用自适应的IMLS半径，以提升曲面逼近效果，尤其在粗糙骨架上表现更优，并与固定半径基线进行对比。

实验结果

研究问题

• RQ1 能否有效将隐式移动最小二乘（IMLS）曲面集成到深度学习框架中，以结合点集的灵活性与隐式函数的平滑性？
• RQ2 与固定点或密集预测方法相比，使用八叉树结构的骨架进行IMLS点预测是否能提升泛化能力与效率？
• RQ3 能否通过在八叉树节点位置进行局部监督替代密集的3D域采样，从而在保持高重建质量的同时降低训练成本？
• RQ4 不同损失分量（梯度、排斥、平滑）如何分别贡献于曲面细节与几何精度？
• RQ5 与固定半径相比，自适应IMLS半径选择是否能在粗糙或不规则采样输入上提升重建质量？

主要发现

• IMLSNet(7,7,1)在ShapeNet数据集上达到最佳重建质量，其Chamfer距离（CD）为0.031，F-Score为0.983，IoU为0.913。
• 消融实验表明，移除曲面梯度损失导致性能下降最大，CD上升至0.034，IoU降至0.897，表明其在保持曲面细节方面起着关键作用。
• 半径平滑项的影响最小；移除后性能仅轻微下降（CD: 0.033，IoU: 0.902），表明其重要性低于其他分量。
• 使用自适应IMLS半径显著提升了在粗糙骨架上的重建效果：IMLSNet(7,7,1)优于固定半径基线cr.(6,6,1)，后者CD更高（0.036）且IoU更低（0.880）。
• 八叉树辅助的局部隐式函数基线因无法保证零水平集穿过最细八叉树单元，导致无法生成无孔曲面，而IMLSNets通过显式的基于点的IMLS公式避免了此缺陷。
• 运行时评估与网络解耦，无需在预测IMLS点后重新运行网络，实现快速推理，这是相对于标准隐式函数方法的关键优势。