[论文解读] Completing Partial Point Clouds with Outliers by Collaborative Completion and Segmentation

Changfeng Ma, Yang Yang+3 more|arXiv (Cornell University)|Mar 18, 2022

Textile materials and evaluations被引用 6

一句话总结

该论文提出CS-Net，一种端到端级联深度学习框架，联合执行点云补全与异常点分割，以从含有噪声和异常点的不完整点云中重建完整、干净的3D形状。通过在补全与分割模块之间交替协同优化特征，并引入标签乘法-FPS解码器和KNN分组优化，CS-Net在新构建的基准数据集上实现了补全与分割任务的最先进性能，其Chamfer距离（CD）为6.98，平均准确率（mAcc）为93.53%。

ABSTRACT

Most existing point cloud completion methods are only applicable to partial point clouds without any noises and outliers, which does not always hold in practice. We propose in this paper an end-to-end network, named CS-Net, to complete the point clouds contaminated by noises or containing outliers. In our CS-Net, the completion and segmentation modules work collaboratively to promote each other, benefited from our specifically designed cascaded structure. With the help of segmentation, more clean point cloud is fed into the completion module. We design a novel completion decoder which harnesses the labels obtained by segmentation together with FPS to purify the point cloud and leverages KNN-grouping for better generation. The completion and segmentation modules work alternately share the useful information from each other to gradually improve the quality of prediction. To train our network, we build a dataset to simulate the real case where incomplete point clouds contain outliers. Our comprehensive experiments and comparisons against state-of-the-art completion methods demonstrate our superiority. We also compare with the scheme of segmentation followed by completion and their end-to-end fusion, which also proves our efficacy.

研究动机与目标

• 为解决现有点云补全过程方法假设输入为干净、无异常点的问题，该假设无法反映真实扫描场景。
• 开发一种端到端深度学习框架，联合执行补全与分割，以提升对异常点与噪声的鲁棒性。
• 设计一种级联结构，使补全与分割分支之间能够相互优化特征，从而提升重建质量与分割精度。
• 构建并发布一个新基准数据集，模拟真实扫描场景下的部分点云，其中包含异常点，数据源自ScanNet v2、ShapeNet和Scan2CAD。
• 通过全面的消融实验与对比研究，验证联合端到端学习相较于串行流程（如先分割后融合）的优越性。

提出的方法

• CS-Net采用级联式端到端架构，通过交替的CS-Block联合优化补全与分割分支的特征。
• 提出一种新颖的标签乘法-FPS模块，将分割标签与最远点采样结合，通过在补全过程优先选择目标物体点，实现输入点云的净化。
• 在编码器中引入KNN分组机制，以识别高概率点位置，从而提升生成质量，增强局部几何细节的恢复能力。
• 补全解码器利用分割标签与FPS策略，抑制噪声点，提升重建保真度。
• 通过级联结构在补全与分割分支之间共享并迭代优化特征，实现两者的相互促进。
• 网络在新构建的数据集上进行训练，该数据集源自ScanNet v2、ShapeNet和Scan2CAD，模拟真实场景下的部分点云及异常点。

实验结果

研究问题

• RQ1 当输入点云含有显著异常点与噪声时，端到端深度学习框架是否能联合提升点云补全与分割性能？
• RQ2 与串行或独立处理相比，补全与分割模块之间的协同学习在重建质量与分割精度方面表现如何？
• RQ3 哪些架构组件（如标签乘法-FPS或KNN分组）在异常点鲁棒补全中发挥最关键作用？
• RQ4 采用多级CS-Block的级联优化结构是否能持续提升补全与分割指标？
• RQ5 所提出的框架在不同分割与补全骨干网络上的泛化能力如何？

主要发现

• CS-Net在新基准数据集上的Chamfer距离（CD）达到6.98，显著优于当前最先进方法，如PMP-Net（10.12）和SnowflakeNet（11.72）。
• 在二分类分割任务中，模型达到93.53%的平均准确率（mAcc），优于PointNet++（92.50）、PSV（88.77）和Point Transformer（93.07）。
• 消融实验表明，标签乘法-FPS模块可将CD从10.449降低至7.427，证明其在噪声抑制与输入净化中的关键作用。
• 引入KNN分组优化后，性能进一步提升，CD降至6.981，mAcc提升至93.53%，使用M=3个CS-Block时达到最优。
• 使用四个CS-Block（M=4）相比三个块仅带来微小增益，表明M=3在性能与计算成本之间实现了最佳平衡。
• 该框架在不同骨干网络（如PointNet++、PointNet++、Point Transformer）上均提升了分割精度，展现出强大的泛化能力与对多种特征提取器的兼容性。