[论文解读] DyCo3D: Robust Instance Segmentation of 3D Point Clouds through Dynamic Convolution

Tong He, Chunhua Shen+1 more|arXiv (Cornell University)|Nov 26, 2020

3D Shape Modeling and Analysis参考文献 44被引用 9

一句话总结

DyCo3D 提出了一种无需提议、基于动态卷积的3D点云实例分割方法，通过类别感知上下文和轻量级Transformer实现长程建模，在推理过程中动态生成实例特定的卷积核。该方法在ScanNetV2和S3DIS数据集上达到最先进性能，推理速度提升25%以上，且对超参数变化的鲁棒性显著优于以往的自下而上方法。

ABSTRACT

Previous top-performing approaches for point cloud instance segmentation involve a bottom-up strategy, which often includes inefficient operations or complex pipelines, such as grouping over-segmented components, introducing additional steps for refining, or designing complicated loss functions. The inevitable variation in the instance scales can lead bottom-up methods to become particularly sensitive to hyper-parameter values. To this end, we propose instead a dynamic, proposal-free, data-driven approach that generates the appropriate convolution kernels to apply in response to the nature of the instances. To make the kernels discriminative, we explore a large context by gathering homogeneous points that share identical semantic categories and have close votes for the geometric centroids. Instances are then decoded by several simple convolutional layers. Due to the limited receptive field introduced by the sparse convolution, a small light-weight transformer is also devised to capture the long-range dependencies and high-level interactions among point samples. The proposed method achieves promising results on both ScanetNetV2 and S3DIS, and this performance is robust to the particular hyper-parameter values chosen. It also improves inference speed by more than 25% over the current state-of-the-art. Code is available at: https://git.io/DyCo3D

研究动机与目标

• 解决自下而上3D实例分割方法对超参数调优敏感且需要复杂后处理的问题。
• 开发一种无需提议、数据驱动的方法，动态生成针对每个实例几何与语义上下文的卷积核。
• 在保持或提升点云基准测试分割精度的同时，提高推理效率。
• 通过轻量级Transformer模块，增强稀疏、不规则3D点云中的长程特征建模能力。
• 在无需手动调整超参数的情况下，实现对多样化场景变化和实例尺度的鲁棒性能。

提出的方法

• DyCo3D采用动态卷积，根据每个点的语义标签和几何质心投票结果动态生成卷积核权重，实现实例特定的特征学习。
• 通过一个轻量级子网络聚合具有相同语义标签和相似质心投票结果的同质点，以编码用于核生成的类别特定上下文。
• 通过标准卷积层并行解码实例掩码，使用动态生成的滤波器，从而无需生成提议或聚类操作。
• 引入一个小型高效Transformer模块，以扩展感受野并捕捉远距离点区域之间的长程依赖关系。
• 该方法利用稀疏3D卷积提升效率，并通过集成Transformer在不增加计算开销的前提下建模高层交互。
• 整个流程端到端可训练，且无需启发式分组或复杂后处理步骤。

实验结果

研究问题

• RQ1 在不依赖提议生成的前提下，动态卷积能否有效用于生成3D点云实例分割的实例特定卷积核？
• RQ2 轻量级Transformer的引入在稀疏3D点云中如何改善长程特征建模？
• RQ3 与现有自下而上方法相比，该方法在多大程度上降低了对超参数调优的敏感性？
• RQ4 该方法能否在保持高推理速度的同时实现最先进性能？
• RQ5 在卷积核生成中引入类别感知上下文，如何提升实例判别力与分割精度？

主要发现

• 在ScanNetV2验证集上，DyCo3D取得61.0% mAP和70.4% AP@50，分别优于PointGroup 0.7%和0.6%，且在AP@50和mAP上分别领先3D-MPA 2.3%和4.9%。
• 在ScanNetV2测试集上，DyCo3D在所有方法中取得最高的AP@50得分64.1%，各类别性能表现强劲，包括‘bed’和‘toilet’类别达到100%。
• 在S3DIS上，DyCo3D取得65.8% mPrec和69.6% mRec，分别较PointGroup提升2.6%和2.1%，AP@50达60.9%，较PointGroup提升3.1%。
• 与当前最先进方法相比，该方法推理速度提升超过25%，展现出卓越的效率。
• 定性结果表明，与PointGroup相比，DyCo3D对超参数变化的鲁棒性显著更强，如图1所示的视觉对比显示其过分割错误更少。
• 消融研究证实，动态卷积和轻量级Transformer均对性能有显著贡献，其中后者在长程建模中尤为关键。