[論文レビュー] SegNet4D: Efficient Instance-Aware 4D Semantic Segmentation for LiDAR Point Cloud

Neng Wang, Ruibin Guo+6 more|arXiv (Cornell University)|Jun 24, 2024

Advanced Neural Network Applications被引用数 4

ひとこと要約

SegNet4D は、4次元 LiDAR 画像の意味的セグメンテーションを実時間で行い、インスタンスに注意を払うフレームワークを提案する。本手法は、複数スキャンの意味的セグメンテーションを、単一スキャンの意味的セグメンテーションと移動物体セグメンテーション（MOS）に分解し、投影に基づく運動特徴符号化と、新しい運動-意味統合モジュールを用いる。SemanticKITTI および nuScenes で最先端の性能を達成し、実行時間は 67.1ms であり、本タスクにおける最初の実時間手法である。

ABSTRACT

4D LiDAR semantic segmentation, also referred to as multi-scan semantic segmentation, plays a crucial role in enhancing the environmental understanding capabilities of autonomous vehicles or robots. It classifies the semantic category of each LiDAR measurement point and detects whether it is dynamic, a critical ability for tasks like obstacle avoidance and autonomous navigation. Existing approaches often rely on computationally heavy 4D convolutions or recursive networks, which result in poor real-time performance, making them unsuitable for online robotics and autonomous driving applications. In this paper, we introduce SegNet4D, a novel real-time 4D semantic segmentation network offering both efficiency and strong semantic understanding. SegNet4D addresses 4D segmentation as two tasks: single-scan semantic segmentation and moving object segmentation, each tackled by a separate network head. Both results are combined in a motion-semantic fusion module to achieve comprehensive 4D segmentation. Additionally, instance information is extracted from the current scan and exploited for instance-wise segmentation consistency. Our approach surpasses state-of-the-art in both multi-scan semantic segmentation and moving object segmentation while offering greater efficiency, enabling real-time operation. Besides, its effectiveness and efficiency have also been validated on a real-world unmanned ground platform. Our code will be released at https://github.com/nubot-nudt/SegNet4D.

研究の動機と目的

• 計算コストの高い 4次元畳み込みに依存する従来の 4次元 LiDAR 画像の意味的セグメンテーション手法における実時間性能の欠如に対処すること。
• 予測パイプラインにインスタンスレベルの意味情報を組み込むことで、移動物体セグメンテーションの精度を向上させること。
• 単一スキャンの意味的セグメンテーションと MOS にタスクを分離し、その後に運動-意味統合を行うことで、複数スキャンの意味的セグメンテーションを向上させること。
• 4次元畳み込みとは異なり、投影に基づく残差アプローチを用いることで、効率的な運動特徴抽出を実現すること。
• 運動と意味の予測を明示的に統合する新しい運動-意味統合モジュールを設計し、セグメンテーション精度を向上させること。

提案手法

• フレームワークは、4次元意味的セグメンテーションを2つの別々のタスクとして扱う：単一スキャンの意味的セグメンテーションと移動物体セグメンテーション（MOS）、それぞれが専用のヘッドで処理される。
• 運動特徴は、連続するスキャン間のビューアー（BEV）残差計算により抽出され、4次元畳み込みと比較して計算コストを顕著に低減する。
• 現在のスキャンからインスタンスレベルの特徴が抽出され、ネットワークに統合されることで、インスタンスに注意を払ったセグメンテーションが可能になる。
• 新しい運動-意味統合モジュール（MSFM）は、ポイント単位の意味的予測と運動状態を統合し、複数スキャンの意味的セグメンテーションを支援する。
• 移動物体予測のための2ヘッドアーキテクチャとリファインメントを採用し、反復的リファインメントにより精度を向上させる。
• フレームワークは、SemanticKITTI および nuScenes で訓練および評価され、各コンponentの貢献を検証するためのアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 4次元意味的セグメンテーションを単一スキャンの意味的セグメンテーションと MOS に分解することで、エンドツーエンド手法と比較して性能向上が達成できるか？
• RQ2 投影に基づく BEV 残差法は、4次元畳み込みと比較して計算コストを低く抑えつつ、効果的に運動特徴を抽出できるか？
• RQ3 MOS および意味的セグメンテーションパイプラインにインスタンスレベルの情報を統合することで、検出精度が向上するか？
• RQ4 専用の運動-意味統合モジュール（MSFM）は、意味的および運動的予測を手動で統合する手法を上回る性能を示せるか？
• RQ5 実時間推論を維持しながら、最先端の 4次元意味的セグメンテーション性能を達成することは可能か？

主な発見

• SegNet4D は、SemanticKITTI ベンチマークで最先端の性能を達成し、複数スキャンの意味的セグメンテーションの mIoU は 69.0、MOS の mIoU は 57.5 を記録した。
• 単一の NVIDIA RTX 3090 GPU で 67.1ms の実行時間で動作し、すべての先行手法を上回り、本タスクにおける最初の実時間 4次元意味的セグメンテーション手法である。
• アブレーションスタディにより、インスタンス情報の統合が MOS および意味的セグメンテーションの精度を向上させることを確認し、インスタンスに注意を払った設計の利点を裏付けた。
• 分離された意味的および運動的ヘッドを備えた2ヘッドアーキテクチャは、エンドツーエンドの単一ヘッド予測を上回る性能を示し、タスク分解の利点を実証した。
• 運動-意味統合モジュール（MSFM）は、20の安定化モデルにおいて、手動統合を常に上回る性能を示し、運動と意味の予測を統合する有効性を証明した。
• 移動物体予測のリファインメントにより、MOS および最終的な複数スキャン意味的セグメンテーションの性能が向上し、反復的リファインメントの価値を強調した。