[论文解读] Primitive Fitting Using Deep Boundary Aware Geometric Segmentation

Duanshun Li, Chen Feng|arXiv (Cornell University)|Oct 3, 2018

3D Surveying and Cultural Heritage参考文献 22被引用 5

一句话总结

该论文提出BAGSFit，一种利用边界感知几何分割的深度学习框架，以提升在噪声大、杂乱的点云中进行3D原始体拟合的性能。通过首先使用全卷积网络将点云分割为原始体假设，再通过几何验证进行优化，BAGSFit在准确性和鲁棒性方面均优于基于RANSAC的方法，在模拟和真实世界数据集上均达到最先进性能，并公开发布了基准数据集。

ABSTRACT

To identify and fit geometric primitives (e.g., planes, spheres, cylinders, cones) in a noisy point cloud is a challenging yet beneficial task for fields such as robotics and reverse engineering. As a multi-model multi-instance fitting problem, it has been tackled with different approaches including RANSAC, which however often fit inferior models in practice with noisy inputs of cluttered scenes. Inspired by the corresponding human recognition process, and benefiting from the recent advancements in image semantic segmentation using deep neural networks, we propose BAGSFit as a new framework addressing this problem. Firstly, through a fully convolutional neural network, the input point cloud is point-wisely segmented into multiple classes divided by jointly detected instance boundaries without any geometric fitting. Thus, segments can serve as primitive hypotheses with a probability estimation of associating primitive classes. Finally, all hypotheses are sent through a geometric verification to correct any misclassification by fitting primitives respectively. We performed training using simulated range images and tested it with both simulated and real-world point clouds. Quantitative and qualitative experiments demonstrated the superiority of BAGSFit.

研究动机与目标

• 解决在机器人和逆向工程中常见的噪声大、杂乱的3D点云中，稳健拟合多个几何原始体（平面、球体、圆柱体、圆锥体）的挑战。
• 克服基于RANSAC的方法在复杂场景中因噪声和重叠实例导致拟合质量较差的局限性。
• 开发一种深度学习框架，通过在几何拟合前利用定性几何结构，模拟人类感知。
• 创建并发布一个大规模的模拟数据集，包含逐点的真实标签，用于训练和基准测试3D原始体分割与拟合。
• 证明联合分割与边界检测可减少误分类和假阳性，从而提高拟合精度。

提出的方法

• 在模拟的范围图像上训练全卷积神经网络，实现逐点语义分割为原始体类别（平面、球体、圆柱体、圆锥体、背景），使用从合成场景生成中获得的真实标签。
• 通过联合预测实例边界，引入边界感知监督，提升重叠或相邻原始体分割的准确性。
• 将分割输出用作几何假设，每个点被分配属于特定原始体类别的概率。
• 通过几何验证步骤，对每个假设区域应用高效的RANSAC以优化原始体参数，纠正误分类的区域。
• 框架使用法向图和位置数据作为输入特征，通过消融实验比较不同输入组合和损失函数（多项式 vs. 多二项式）。
• 单一网络同时执行分割与边界检测，无独立推理阶段，提升了效率与一致性。

实验结果

研究问题

• RQ1 基于深度学习的3D范围图像语义分割是否能相比传统RANSAC，提升多模型、多实例原始体拟合的准确性和鲁棒性？
• RQ2 在分割网络中引入边界感知监督是否能改善复杂场景中原始体实例的分离并减少误分类？
• RQ3 在未进行领域自适应的情况下，仅在模拟数据上训练的模型是否能有效泛化到真实世界点云？
• RQ4 不同输入特征（位置、法向，或两者）以及损失函数如何影响分割和后续拟合性能？
• RQ5 在训练中移除背景点是否能通过降低场景复杂度，提升最终原始体拟合的准确性？

主要发现

• BAGSFit在模拟测试集上实现了0.513的平均PAP（每属性精确率）得分，显著优于ERANSAC基线。
• N5+BAGS变体（训练时排除背景类别）实现了最低的平均拟合误差（1.289毫米），表明背景抑制可提升拟合精度。
• 引入边界感知监督（BAGS）相比基线边界检测（BO）提升了边界召回率，同时对分割性能影响极小。
• 仅使用法向图作为输入的表现优于结合位置与法向输入，可能是因为位置数据在深度网络中难以归一化。
• 多项式损失函数的分割性能优于多二项式损失，表明标准交叉熵在类别区分上更优。
• 基于MaskRCNN的实例检测在原始体拟合任务上仅达到26.0%的mAP，表明标准实例分割模型因形状可变性和长宽比失真，不适用于几何原始体。