[論文レビュー] LiDAR-based Panoptic Segmentation via Dynamic Shifting Network

Fangzhou Hong, Hui Zhou+3 more|arXiv (Cornell University)|Nov 24, 2020

3D Shape Modeling and Analysis参考文献 40被引用数 10

ひとこと要約

本稿では、LiDARベースのパンセグメンテーションのための新規フレームワークであるダイナミックシフトネットワーク（DS-Net）を提案する。3次元点群におけるセマンティックセグメンテーションとインスタンスセグメンテーションを統合し、非一様な点分布下での再回帰中心の適応的クラスタリングと、コンSENSUS駆動型統合を導入することで、SemanticKITTIで57.7%のPQを達成し、パブリックリーダーボードで1位を獲得する最先端の性能を実現した。

ABSTRACT

With the rapid advances of autonomous driving, it becomes critical to equip its sensing system with more holistic 3D perception. However, existing works focus on parsing either the objects (e.g. cars and pedestrians) or scenes (e.g. trees and buildings) from the LiDAR sensor. In this work, we address the task of LiDAR-based panoptic segmentation, which aims to parse both objects and scenes in a unified manner. As one of the first endeavors towards this new challenging task, we propose the Dynamic Shifting Network (DS-Net), which serves as an effective panoptic segmentation framework in the point cloud realm. In particular, DS-Net has three appealing properties: 1) strong backbone design. DS-Net adopts the cylinder convolution that is specifically designed for LiDAR point clouds. The extracted features are shared by the semantic branch and the instance branch which operates in a bottom-up clustering style. 2) Dynamic Shifting for complex point distributions. We observe that commonly-used clustering algorithms like BFS or DBSCAN are incapable of handling complex autonomous driving scenes with non-uniform point cloud distributions and varying instance sizes. Thus, we present an efficient learnable clustering module, dynamic shifting, which adapts kernel functions on-the-fly for different instances. 3) Consensus-driven Fusion. Finally, consensus-driven fusion is used to deal with the disagreement between semantic and instance predictions. To comprehensively evaluate the performance of LiDAR-based panoptic segmentation, we construct and curate benchmarks from two large-scale autonomous driving LiDAR datasets, SemanticKITTI and nuScenes. Extensive experiments demonstrate that our proposed DS-Net achieves superior accuracies over current state-of-the-art methods. Notably, we achieve 1st place on the public leaderboard of SemanticKITTI, outperforming 2nd place by 2.6% in terms of the PQ metric.

研究の動機と目的

• 自律走行における包括的3次元認識の欠如に応えるために、LiDAR点群におけるセマンティックセグメンテーションとインスタンスセグメンテーションを統合すること。
• 点の密度やサイズが変動する非一様でスパースなLiDAR点群におけるヒューリスティッククラスタリング手法の限界を克服すること。
• セマンティックとインスタンス予測を効果的に統合し、最小限の計算コストで高い性能を発揮する統合型パンセグメンテーションフレームワークを設計すること。
• SemanticKITTIおよびnuScenesデータセットを用いて、LiDARベースのパンセグメンテーションの強力なベースラインとベンチマークを確立すること。

提案手法

• DS-Netは、LiDAR点群からグリッドレベルの特徴を共有して抽出する強力なバックボーンとしてシリンダーコンボリューションを採用し、セマンティックおよびインスタンスブランチの両方における効率的な特徴学習を可能にする。
• 動的シフトモジュールは、複数のカーネルベースの候補を重み付けすることで、再回帰中心のシフトターゲットを適応的に計算し、インスタンス密度やサイズに応じたリアルタイムな適合性を実現する。
• シフト操作は学習されたアテンション重みに基づいて帯域幅を動的に調整するため、複雑で非一様な点分布においてもロバストなクラスタリングを可能にする。
• コンセンサス駆動型統合モジュールは、クラスに依存しないインスタンスセグメンテーションの矛盾を解消することで、一貫性のあるパンセグメンテーションラベルを保証する。
• 共有特徴を用いてエンドツーエンドで訓練されるため、計算量を最小限に抑えつつ高い精度を維持できる。
• 本手法は、SemanticKITTIおよびカスタマイズされたnuScenesベンチマークで評価され、多様な点群密度およびシーンの複雑さにわたる一般化能力を示した。

実験結果

リサーチクエスチョン

• RQ1 自律走行シナリオにおけるLiDAR点群に対して、統合的なディープラーニングフレームワークがセマンティックセグメンテーションとインスタンスセグメンテーションの両方を効果的に行えるか。
• RQ2 3次元LiDARデータにおける非一様な点分布および変動するインスタンスサイズに耐性を持つクラスタリング手法はどのように実現できるか。
• RQ3 従来のヒューリスティックアルゴリズム（例：DBSCAN や BFS）に比べ、学習可能な適応的クラスタリング機構が3次元パンセグメンテーションでどれほど優れた性能を発揮できるか。
• RQ4 セマンティックとインスタンス予測を効果的に統合し、顕著な計算コストの増加を伴わずに矛盾を解消する方法は何か。
• RQ5 提案された動的シフトモジュールはハイパーパrameter設定に対してロバストであり、異なるLiDARデータセットに一般化可能か。

主な発見

• DS-NetはSemanticKITTIベンチマークで57.7%のPQを達成し、2位の手法より2.6%高いPQを記録した。
• パブリックSemanticKITTIリーダーボードで1位を獲得し、最先端の性能を実証した。
• スパースなnuScenesデータセットにおいても、最良のベースラインをPQで2.4%、PQ_Thで3.5%上回り、一般化能力を裏付けた。
• 動的シフトモジュールは帯域幅のハイパーパrameter設定に対してロバストであり、異なる候補セット間での性能変動が最小限に抑えられた。
• 学習された帯域幅はインスタンスサイズに比例しており、モジュールが異なるスケールのインスタンスに適応的に反応できることを確認した。
• 可視化結果から、シーディングポイントが4イテレーション以内にクラスタ中心に収束することが示され、効果的で安定した動的シフトが実現していることを裏付けた。