[论文解读] LiDAR-based Panoptic Segmentation via Dynamic Shifting Network

Fangzhou Hong, Hui Zhou+3 more|arXiv (Cornell University)|Nov 24, 2020

3D Shape Modeling and Analysis参考文献 40被引用 10

一句话总结

本文提出动态位移网络（DS-Net），一种用于激光雷达点云的全景分割新框架，统一了三维点云中的语义分割与实例分割。该方法引入可学习的动态位移模块，以自适应地处理非均匀点云分布下的回归中心聚类，并采用共识驱动的融合机制解决预测冲突，在SemanticKITTI数据集上达到57.7%的PQ，且在公开排行榜中位列第一。

ABSTRACT

With the rapid advances of autonomous driving, it becomes critical to equip its sensing system with more holistic 3D perception. However, existing works focus on parsing either the objects (e.g. cars and pedestrians) or scenes (e.g. trees and buildings) from the LiDAR sensor. In this work, we address the task of LiDAR-based panoptic segmentation, which aims to parse both objects and scenes in a unified manner. As one of the first endeavors towards this new challenging task, we propose the Dynamic Shifting Network (DS-Net), which serves as an effective panoptic segmentation framework in the point cloud realm. In particular, DS-Net has three appealing properties: 1) strong backbone design. DS-Net adopts the cylinder convolution that is specifically designed for LiDAR point clouds. The extracted features are shared by the semantic branch and the instance branch which operates in a bottom-up clustering style. 2) Dynamic Shifting for complex point distributions. We observe that commonly-used clustering algorithms like BFS or DBSCAN are incapable of handling complex autonomous driving scenes with non-uniform point cloud distributions and varying instance sizes. Thus, we present an efficient learnable clustering module, dynamic shifting, which adapts kernel functions on-the-fly for different instances. 3) Consensus-driven Fusion. Finally, consensus-driven fusion is used to deal with the disagreement between semantic and instance predictions. To comprehensively evaluate the performance of LiDAR-based panoptic segmentation, we construct and curate benchmarks from two large-scale autonomous driving LiDAR datasets, SemanticKITTI and nuScenes. Extensive experiments demonstrate that our proposed DS-Net achieves superior accuracies over current state-of-the-art methods. Notably, we achieve 1st place on the public leaderboard of SemanticKITTI, outperforming 2nd place by 2.6% in terms of the PQ metric.

研究动机与目标

• 为解决自动驾驶中整体三维感知的不足，通过统一激光雷达点云的语义与实例分割来实现。
• 克服在点云稀疏、分布不均且实例大小多变的场景下，传统启发式聚类方法的局限性。
• 设计一个统一的全景分割框架，有效融合语义与实例预测，同时计算开销最小化。
• 基于SemanticKITTI和nuScenes数据集，建立激光雷达全景分割的强基线与基准。

提出的方法

• DS-Net采用圆柱卷积作为强backbone，从激光雷达点云中提取共享的网格级特征，实现语义分支与实例分支的高效特征学习。
• 动态位移模块通过加权多个基于核的候选位移目标，自适应计算回归中心的位移目标，实现实时适应实例密度与尺寸变化。
• 位移操作根据学习到的注意力权重动态调整带宽，从而在复杂且非均匀的点云分布中实现鲁棒聚类。
• 共识驱动的融合模块通过解决与类别无关的实例分割冲突，统一语义与实例预测，确保全景标签的一致性。
• 该框架采用端到端训练，共享特征表示，最大限度减少计算开销，同时保持高精度。
• 该方法在SemanticKITTI和定制化的nuScenes基准上进行评估，验证了其在不同点云密度与场景复杂度下的泛化能力。

实验结果

研究问题

• RQ1 统一的深度学习框架是否能有效实现自动驾驶场景中激光雷达点云的语义与实例分割？
• RQ2 如何使聚类方法在三维激光雷达数据中对非均匀点云分布与多变实例尺寸具有鲁棒性？
• RQ3 可学习的自适应聚类机制在三维全景分割中，相较于传统启发式算法（如DBSCAN或BFS）能有多大性能提升？
• RQ4 如何在不引入显著计算成本的前提下，有效融合语义与实例预测以解决预测不一致问题？
• RQ5 所提出的动态位移模块是否对超参数设置具有鲁棒性，并具备在不同激光雷达数据集上的泛化能力？

主要发现

• DS-Net在SemanticKITTI基准上达到57.7%的PQ，较第二名方法高出2.6%的PQ。
• 该模型在公开的SemanticKITTI排行榜中位列第一，验证了其最先进性能。
• 在稀疏的nuScenes数据集中，DS-Net在PQ上超越最佳基线方法2.4%，在PQ_Th上提升3.5%，验证了其泛化能力。
• 动态位移模块对带宽超参数设置具有鲁棒性，不同候选集下的性能波动极小。
• 学习到的带宽与实例尺寸成正比，证实了模块对不同实例尺度的自适应响应能力。
• 可视化结果表明，种子点在四次迭代内即可收敛至聚类中心，证明了动态位移机制的有效性与稳定性。