[論文レビュー] PCSCNet: Fast 3D Semantic Segmentation of LiDAR Point Cloud for Autonomous Car using Point Convolution and Sparse Convolution Network

Jaehyun Park, Chansoo Kim+1 more|arXiv (Cornell University)|Feb 21, 2022

Remote Sensing and LiDAR Applications被引用数 6

ひとこと要約

PCSCNet は、自動運転車両向けの LiDAR ポイントクラウドにおける高速でリアルタイムな 3D スマートセグメンテーションモデルであり、効率的な特徴抽出のためのポイントコンボリューションと、迅速な特徴伝搬のための 3D スパースコンボリューションを活用している。低ボクセル解像度でも SemanticKITTI および nuScenes で最先端の性能を達成し、離散化誤差を軽減するための組み合わせ交差エントロピー損失と位置に敏感な損失を用いて 64.6% の mIoU を達成した。

ABSTRACT

The autonomous car must recognize the driving environment quickly for safe driving. As the Light Detection And Range (LiDAR) sensor is widely used in the autonomous car, fast semantic segmentation of LiDAR point cloud, which is the point-wise classification of the point cloud within the sensor framerate, has attracted attention in recognition of the driving environment. Although the voxel and fusion-based semantic segmentation models are the state-of-the-art model in point cloud semantic segmentation recently, their real-time performance suffer from high computational load due to high voxel resolution. In this paper, we propose the fast voxel-based semantic segmentation model using Point Convolution and 3D Sparse Convolution (PCSCNet). The proposed model is designed to outperform at both high and low voxel resolution using point convolution-based feature extraction. Moreover, the proposed model accelerates the feature propagation using 3D sparse convolution after the feature extraction. The experimental results demonstrate that the proposed model outperforms the state-of-the-art real-time models in semantic segmentation of SemanticKITTI and nuScenes, and achieves the real-time performance in LiDAR point cloud inference.

研究の動機と目的

• 自動運転におけるボクセルベースの 3D スマートセグメンテーションの高い計算コスト、特に高ボクセル解像度での問題に対処すること。
• セグメンテーション精度を損なわず、さまざまなボクセル解像度において推論速度と頑健性を向上させること。
• 交差エントロピー損失と位置に敏感な損失を組み合わせた新しい損失関数により、大きなボクセルによる離散化誤差を低減すること。
• 標準ベンチマーク（SemanticKITTI および nuScenes）でリアルタイム性能を達成しながら、高い mIoU を維持すること。
• 32 レイヤーの LiDAR システムからのものも含め、密度の高いおよびスパースな LiDAR ポイントクラウドの両方で有効性を示すこと。

提案手法

• 計算負荷を軽減するために、大きなボクセルサイズ（例：0.3m）を用いて入力 LiDAR ポイントクラウドをボクセライズする。
• 各ボクセルからのポイントワイズ特徴を抽出するためのポイントコンボリューション（PC）を適用し、PointNet よりも長距離の文脈的モデリングを向上させる。
• 隣接するボクセル間での特徴伝搬を効率的に行うために 3D スパースコンボリューション（3D-SC）を用い、最小限の計算で受容 field を拡大する。
• 交差エントロピー損失と位置に敏感な（PA）損失を組み合わせたハイブリッド損失関数を採用し、境界セグメンテーションの向上と離散化誤差の低減を図る。
• ポイントコンボリューションとスパースコンボリューションの最終的な統合特徴を用いてポイントワイズ分類を実行し、個々のポイントに対するセマンティックラベル付けを可能にする。
• mIoU と定性的な可視化を用いて性能を評価するため、SemanticKITTI および nuScenes データセット上でモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 ボクセルベースのスマートセグメンテーションモデルは、低ボクセル解像度でも高い精度を維持しながらリアルタイム推論を達成できるか？
• RQ2 大規模なボクセルサイズにおけるスパース LiDAR ポイントクラウドの特徴抽出において、ポイントコンボリューションは PointNet より優れているか？
• RQ3 3D スパースコンボリューションは、セグメンテーション品質を劣化させることなく、どの程度特徴伝搬を高速化できるか？
• RQ4 交差エントロピー損失と位置に敏感な損失の組み合わせは、境界セグメンテーションを向上させ、離散化アーチファクトを低減するか？
• RQ5 PCSCNet は、点が密集した（SemanticKITTI）およびスパースな（nuScenes）LiDAR ポイントクラウドにおいて、最先端のリアルタイムモデルと比較してどの程度の性能を示すか？

主な発見

• PCSCNet は 0.05m ボクセル解像度で SemanticKITTI において 64.8% の mIoU を達成し、ポイントボクセル統合モデルを 0.4% 上回った。
• 0.1m ボクセル解像度では、PCSCNet は 64.6% の mIoU を維持した一方、ポイントボクセル統合モデルは 63.6% に低下し、優れた頑健性を示した。
• ボクセルサイズを 0.05m から 0.1m に増加させても mIoU がたった 0.2% の低下にとどまり、解像度の変化に対して強い耐性を示した。
• 交差エントロピー損失と PA 損失の組み合わせにより、交差エントロピー損失のみを使用した場合と比較して mIoU が 0.8% 向上（63.8% から 64.6% へ）。
• 定性的な結果から、PA 損失が特に歩道と植生の間の境界セグメンテーションを顕著に改善していることが明らかになった。
• PCSCNet は SemanticKITTI および nuScenes で最先端の性能を達成し、32 レイヤーのセンサからのスパース LiDAR データに対しても有効性を示した。