[論文レビュー] VolMap: A Real-time Model for Semantic Segmentation of a LiDAR surrounding view

Hager Radi, Waleed Ali|arXiv (Cornell University)|Jun 12, 2019

Robotics and Sensor-Based Localization参考文献 21被引用数 10

ひとこと要約

VolMapは、360°LiDAR点群のセマンティックセグメンテーションを実行するリアルタイム2次元畳み込みニューラルネットワークを提案する。LiDAR高さレイヤーを入力チャネルとして用い、CPU上で25.7msの推論時間で高い精度を達成。PointNet++（500ms）とSqueezeSeg-Mod（45.5ms）を上回る速度でありながら、KITTIベンチマークで大多数のクラスにおいて平均IoUを向上させた。

ABSTRACT

This paper introduces VolMap, a real-time approach for the semantic segmentation of a 3D LiDAR surrounding view system in autonomous vehicles. We designed an optimized deep convolution neural network that can accurately segment the point cloud produced by a 360\degree{} LiDAR setup, where the input consists of a volumetric bird-eye view with LiDAR height layers used as input channels. We further investigated the usage of multi-LiDAR setup and its effect on the performance of the semantic segmentation task. Our evaluations are carried out on a large scale 3D object detection benchmark containing a LiDAR cocoon setup, along with KITTI dataset, where the per-point segmentation labels are derived from 3D bounding boxes. We show that VolMap achieved an excellent balance between high accuracy and real-time running on CPU.

研究の動機と目的

• 自律走行車両の認識を目的として、CPU上で360°LiDAR点群のリアルタイムセマンティックセグメンテーションを可能にすること。
• LiDAR高さレイヤーを入力チャネルとして活用することで、3次元セマンティックセグメンテーションの精度と効率を向上させること。
• 複数LiDARのセットアップがシーン理解およびセグメンテーション性能に与える影響を評価すること。
• 高密度な空間的・意味的忠実度を維持しながら、高価な3次元畳み込みを回避する軽量でスケーラブルなモデルの開発

提案手法

• 入力は、360°LiDARデータから導出された10個の高さレイヤーを有するボリュメトリックなビューアイズ表現であり、各レイヤーは点群の0.4mの垂直スライスを表す。
• モデルは、範囲と強度を入力チャネルとして用いる修正版SqueezeSegアーキテクチャを採用し、効率性を高めるために深さ方向分離畳み込みを用いて2次元特徴マップを処理する。
• ネットワークは、3次元ボクセルボックスアノテーションを用いてKITTIおよびSCALAベンチマークでエンドツーエンドに訓練され、各点にセマンティックラベルを出力する。
• 複数センサーのLiDARセットアップは、複数のセンサーからの点群を統合することでシミュレートされ、各センサーの反射を色分けして空間的コンテキストを保持する。
• 推論をCPUで最適化し、3次元畳み込みを回避することで、3次元データの2次元投影上で処理することで計算量を削減する。
• アブレーションスタディでは、単一前面LiDARから360°周囲視界のセットアップまで、さまざまなセンサー構成における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 LiDAR高さレイヤー上で動作する2次元CNNは、CPU上で360°LiDAR点群のリアルタイムセマンティックセグメンテーションを達成できるか？
• RQ2 360°構成での複数LiDARセンサーの使用は、単一センサー構成と比較してセマンティックセグメンテーション精度にどのように影響するか？
• RQ3 3次元データの2次元投影を用いる場合と3次元ボリュメトリックネットワークを用いる場合の、推論速度とセグメンテーション精度のトレードオフは何か？
• RQ4 標準的な2次元投影（範囲と強度）と比較して、高さレイヤーを入力チャネルとして用いることで、特徴表現はどの程度向上するか？
• RQ5 軽量な2次元モデルは、3次元CNNおよびPointNet++と比較して、3次元セマンティックセグメンテーションにおいて速度と精度の両面で優れるか？

主な発見

• VolMapはCPU上で25.7msの推論時間を達成し、PointNet++（500ms）の20倍速く、SqueezeSeg-Mod（45.5ms）の50％速くなった。
• KITTIベンチマークにおいて、VolMapは車両クラスで79.71％の平均IoUを達成し、SqueezeSeg-Mod（84.0％）とPointNet++（64.3％）を上回った。
• 歩行者クラスでは33.62％のIoUを達成し、PointNet++（15.33％）と比較して12.3％、SqueezeSeg-Mod（26.0％）と比較して7.6％の向上を達成した。
• 360°マルチLiDARセットアップにより、車両セグメンテーションのIoUは85.37％、トラックのIoUは64.9％に向上し、単一センサー構成を著しく上回った。
• アブレーションスタディにより、LiDARセンサーを追加することで点群の密度と幾何的完全性が向上し、結果としてシーン理解とセグメンテーション精度が向上することが確認された。
• VolMapは、球面投影ベースのSqueezeSeg-Modと比較して60％のクラスで優れた性能を示し、さらに50％速く動作した。