[论文解读] Morphing and Sampling Network for Dense Point Cloud Completion

Minghua Liu, Lu Sheng+3 more|arXiv (Cornell University)|Nov 30, 2019

3D Shape Modeling and Analysis参考文献 37被引用 28

一句话总结

本文提出了一种用于密集3D点云补全的两阶段形变与采样网络，首先利用带扩展惩罚的参数化曲面元素生成粗粒度、结构化的点云以防止重叠，然后通过一种新颖的融合与采样策略进行细化，生成分布均匀、高保真的输出。该方法在使用地球移动距离（EMD）作为损失函数时实现了最先进性能，在EMD和切比雪夫距离（CD）上均优于先前方法。

ABSTRACT

3D point cloud completion, the task of inferring the complete geometric shape from a partial point cloud, has been attracting attention in the community. For acquiring high-fidelity dense point clouds and avoiding uneven distribution, blurred details, or structural loss of existing methods' results, we propose a novel approach to complete the partial point cloud in two stages. Specifically, in the first stage, the approach predicts a complete but coarse-grained point cloud with a collection of parametric surface elements. Then, in the second stage, it merges the coarse-grained prediction with the input point cloud by a novel sampling algorithm. Our method utilizes a joint loss function to guide the distribution of the points. Extensive experiments verify the effectiveness of our method and demonstrate that it outperforms the existing methods in both the Earth Mover's Distance (EMD) and the Chamfer Distance (CD).

研究动机与目标

• 解决现有基于学习的3D点云补全方法存在的点分布不均、细节模糊和结构丢失等局限性。
• 在保留EMD对点云密度和几何细节敏感性的前提下，降低其高计算成本。
• 在补全过程期间保留输入部分点云中的已知结构，避免显著特征的失真或遗漏。
• 开发一种能够生成任意分辨率的密集、高分辨率点云的方法，而非固定输出尺寸的模型。
• 提出一种新颖的采样策略，实现在有效整合输入与预测几何的同时，实现点云的均匀分布。

提出的方法

• 第一阶段：使用包含一组2-流形参数化曲面元素的自编码器，预测一个完整但粗糙的点云。
• 应用扩展惩罚，将每个曲面元素限制在局部区域，防止重叠并确保结构一致性。
• 第二阶段：使用一种新颖的基于MDS的采样算法，将粗略预测结果与输入部分点云进行融合，生成分布均匀的子集。
• 应用逐点残差网络对融合后的点云进行细化，以实现细粒度细节的生成。
• 采用基于拍卖算法的EMD近似方法，实现对密集点云的高效训练。
• 使用结合EMD与CD的联合损失函数进行优化，以平衡几何保真度与分布均匀性。

实验结果

研究问题

• RQ1 与端到端方法相比，结合结构化曲面元素预测与自适应采样的两阶段方法是否能显著提升完成点云的保真度与分布均匀性？
• RQ2 扩展惩罚在防止曲面元素重叠并确保粗略补全过程中的局部化与结构一致性方面效果如何？
• RQ3 将粗略预测结果与输入点云融合在在多大程度上能保留部分输入中的已知结构细节？
• RQ4 基于MDS的新型采样策略是否能优于标准方法（如FPS），在保持几何精度的同时实现更均匀的点云分布？
• RQ5 对于密集点云补全模型，高效的EMD近似是否可行且有益，尤其当EMD比CD对细节与分布更敏感时？

主要发现

• 所提方法在所有类别中均实现了最低的平均EMD（1.14 × 100）与CD（3.78），优于所有消融实验版本及先前最先进方法。
• 消融实验表明，若移除扩展惩罚，平均EMD增加0.09，CD增加0.03，表明其在结构一致性中起关键作用。
• 若省略融合步骤，平均EMD上升至1.29（相比1.14），表明融合过程有效保留了输入结构并提升了可靠性。
• 将MDS替换为FPS后，EMD增加0.12（至1.21），但CD减少0.12，证实MDS在实现更优分布的同时以略微增加CD为代价。
• 若移除细化步骤，EMD增加0.07，CD增加0.06，证明残差细化对细粒度细节恢复至关重要。
• 若使用CD替代EMD（Ours-CD），平均EMD增加0.14，平均CD增加1.74，证实EMD在捕捉几何保真度与分布特性方面具有显著优势。