[論文レビュー] SalsaNext: Fast, Uncertainty-aware Semantic Segmentation of LiDAR Point Clouds for Autonomous Driving

Tiago Cortinhal, George Tzelepis+1 more|arXiv (Cornell University)|Mar 7, 2020

Advanced Neural Network Applications参考文献 47被引用数 100

ひとこと要約

SalsaNext は SalsaNet を拡張し、コンテキストモジュール、拡張残差ブロック、ピクセルシャッフルアップサンプリング、Lovász-Softmax 損失、そして再訓練不要のベイズ不確実性推定を組み込むことで、リアルタイムかつ不確実性を意識した LiDAR セマンティックセグメンテーションを実現し、Semantic-KITTI で1位を獲得した。

ABSTRACT

In this paper, we introduce SalsaNext for the uncertainty-aware semantic segmentation of a full 3D LiDAR point cloud in real-time. SalsaNext is the next version of SalsaNet [1] which has an encoder-decoder architecture where the encoder unit has a set of ResNet blocks and the decoder part combines upsampled features from the residual blocks. In contrast to SalsaNet, we introduce a new context module, replace the ResNet encoder blocks with a new residual dilated convolution stack with gradually increasing receptive fields and add the pixel-shuffle layer in the decoder. Additionally, we switch from stride convolution to average pooling and also apply central dropout treatment. To directly optimize the Jaccard index, we further combine the weighted cross-entropy loss with Lovasz-Softmax loss [2]. We finally inject a Bayesian treatment to compute the epistemic and aleatoric uncertainties for each point in the cloud. We provide a thorough quantitative evaluation on the Semantic-KITTI dataset [3], which demonstrates that the proposed SalsaNext outperforms other state-of-the-art semantic segmentation networks and ranks first on the Semantic-KITTI leaderboard. We also release our source code https://github.com/TiagoCortinhal/SalsaNext.

研究の動機と目的

• 自動運転のための 3D LiDAR データを用いた信頼性のあるリアルタイムのセマンティック理解を動機づける。
• エピステミックおよびアレアトミック不確実性を定量化した各点ラベルを高精度で生成するネットワークを開発する。
• 以前の SalsaNet を上回る文脈認識と効率を実現しつつ、リアルタイム性能を維持する。

提案手法

• グローバル 360 度の文脈を捉える残差拡張畳み込みスタックを備えたコンテキストモジュールを導入する。
• エンコーダの ResNet ブロックを、結合と残差接続を伴う拡張畳み込み（レート 2、カーネル 3/5/7）スタックに置換する。
• デコーダでチェッカーボードアーティファクトを避け、アップサンプリング効率を向上させるために Pixel-Shuffle 層を使用する。
• セントラルなエンコーダ-デコーダドロップアウトを適用し、エンコーダのダウンサンプリングを平均プーリングへ切り替え、クラスチャネルを一致させるために 1x1 畳み込みを使用する。
• IoU を直接最大化するように、重み付き交差エントロピーと Lovász-Softmax 損失を組み合わせた損失で訓練を最適化する。
• 再訓練なしでエピステミックとアレオトミック不確実性の両方を推定するために、MC サンプリングと ADF に触発された伝播を用いたベイズ的処理を組み込む。

実験結果

リサーチクエスチョン

• RQ1 SalsaNext は Semantic-KITTI で最先端の projection ベースおよび点群ベースの 3D LiDAR セグメンテーション手法を上回るか？
• RQ2 モデルは LiDAR セグメンテーションの信頼できる不確実性推定（エピステミックおよびアレオトミック）を提供するか？
• RQ3 文脈モジュール、拡張畳み込み、Pixel-Shuffle、損失関数といったアーキテクチャ変更がセグメンテーション精度と効率に与える影響は？

主な発見

• SalsaNext は Semantic-KITTI テストセットで平均 IoU が 59.5% となり、従来の手法を上回り、リーダーボードで1位にランクインしている。
• アブレーションにより、文脈モジュール、拡張畳み込み、Pixel-Shuffle、Lovász-Softmax 損失の累積的な改善が示され、SalsaNet に対して平均 IoU が約 0.7 ポイント改善された。
• SalsaNext は SalsaNet よりもパラメータの増加は約 0.15M で、総実行時間が競争力のある実行速度を提供する（約 41.26 ms/フレーム）。
• モデルは各点に対してエピステミックとアレオトミックの不確実性の両方を提供し、不確実性を考慮した予測を可能にする。
• 定性的結果は、信頼できる予測では不確実性が低く、境界部や遠距離物体では不確実性が高いことを示す。
• SalsaNext は SalsaNet 系列よりも高い mean IoU（59.5）を達成し、いくつかのカテゴリ（例：道路、植生、地形）でクラス別の性能が向上。
• リアルタイム性と精度のバランスを取り、6.73M パラメータと 125.68 GFLOPs で 24 Hz のスループットを実現している。