[論文レビュー] SalsaNet: Fast Road and Vehicle Segmentation in LiDAR Point Clouds for Autonomous Driving

Eren Erdal Aksoy, Saimir Baci+1 more|arXiv (Cornell University)|Sep 18, 2019

Remote Sensing and LiDAR Applications被引用数 19

ひとこと要約

SalsaNet は、3次元 LiDAR ポイントクラウドのセマンティックセグメンテーションのための高速でリアルタイムなディープエンコーダーデコーダーネットワークであり、データをビア・アイ・ビュー（BEV）に投影して効率的な2次元畳み込み処理を実現する。KITTI データセットを用いた自動ラベル付き LiDAR データにおいて、道路および車両セグメンテーションで最先端の精度を達成するとともに、投影に依存しない特性を有し、速度およびIoUスコアにおいて先行研究を上回る性能を発揮する。

ABSTRACT

In this paper, we introduce a deep encoder-decoder network, named SalsaNet, for efficient semantic segmentation of 3D LiDAR point clouds. SalsaNet segments the road, i.e. drivable free-space, and vehicles in the scene by employing the Bird-Eye-View (BEV) image projection of the point cloud. To overcome the lack of annotated point cloud data, in particular for the road segments, we introduce an auto-labeling process which transfers automatically generated labels from the camera to LiDAR. We also explore the role of imagelike projection of LiDAR data in semantic segmentation by comparing BEV with spherical-front-view projection and show that SalsaNet is projection-agnostic. We perform quantitative and qualitative evaluations on the KITTI dataset, which demonstrate that the proposed SalsaNet outperforms other state-of-the-art semantic segmentation networks in terms of accuracy and computation time. Our code and data are publicly available at https://gitlab.com/aksoyeren/salsanet.git.

研究の動機と目的

• 自律走行における3次元 LiDAR ポイントクラウドのための高速で正確かつリアルタイムなセマンティックセグメンテーションネットワークの開発。
• 特に道路領域のラベル付き LiDAR データの不足に応じて、カメラから LiDAR へのクロスセンサ自動ラベリングパイプラインを導入することで、ラベル付きデータの不足を緩和すること。
• 異なる LiDAR ポイントクラウドの投影方法（BEV 対 SFV）がセマンティックセグメンテーション性能に与える影響を評価・比較すること。
• 異なる投影形式に対しても高い精度と推論速度を発揮する、耐障害性の高いモデルを設計すること。
• 今後の研究を支援するため、コードおよび大規模な自動ラベル付き LiDAR データセットを公開すること。

提案手法

• SalsaNet は、エンコーダーに残差ブロックを、デコーダーでは早期および後期の層からの特徴を統合するスキップ接続を用いたエンコーダーデコーダー構造を採用する。
• SalsaNet の入力は、各チャネルが統計的特徴（例：深度、強度、距離、占有マスク）を符号化する BEV 投影済み LiDAR ポイントクラウドである。
• 2次元グリッド空間における効果的な特徴学習を可能にするために、空間的および強度情報の両方を保持するマルチチャネル入力表現を採用する。
• センサキャリブレーションを用いて、カメラ画像（道路および車両）のセマンティックラベルを LiDAR ポイントクラウドに転送する自動ラベリングパイプラインを構築し、約 11,000 点の追加ラベル付きサンプルを生成した。
• モデルは KITTI データセット上で訓練および評価され、損失重み付けおよびチャネル寄与度に関するアブレーションスタディが実施された。
• 投影のロバストネスを評価するために、BEV および球面前面視（SFV）投影の両方で性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 LiDAR ポイントクラウドの投影方法の選択（BEV 対 SFV）が、セマンティックセグメンテーションの精度および速度にどのように影響を与えるか？
• RQ2 ディープラーニングモデルが、リアルタイム推論を維持しながら、LiDAR を用いた道路および車両セグメンテーションで最先端の性能を達成できるか？
• RQ3 カメラデータからの自動ラベリングによって、ラベル付き LiDAR データの不足をどの程度緩和できるか？
• RQ4 提案されたネットワークアーキテクチャは、異なる入力投影形式に対しても耐障害性を示し、投影に依存しない性能を発揮するか？
• RQ5 個々の入力チャネル（例：x, y, z, 強度, 距離, マスク）がセグメンテーション性能に与える影響は何か？

主な発見

• SalsaNet は BEV 投影を用いた KITTI データセットで平均交差率（IoU）79.71% を達成し、先行研究を上回る性能を示した。
• Tesla V100 GPU 上で 160 Hz の推論速度を達成しており、通常の LiDAR センサの 10 Hz サンプリングレートをはるかに上回る。
• SalsaNet は投影に依存しない性能を示し、BEV および SFV 投影の両方で高い精度を維持した。一方、他のモデルは BEV 投影で性能を発揮できない傾向にあった。
• SFV 投影には冗長な情報が含まれ、性能を低下させる。例えば、マスクチャネルの追加により IoU が 4.5% 向上したが、x 座標と y 座標の追加はそれぞれ 0.04% および 0.34% の精度低下を引き起こした。
• アブレーションスタディの結果、損失重み付けが IoU に顕著な影響を及ぼし、重みなし損失では平均 IoU が 2.3% 減少した。
• 自動ラベリングパイプラインは、約 11,000 点の追加ラベル付き LiDAR サンプルを効果的に生成し、手動ラベルなしで堅牢な学習を可能にした。