[論文レビュー] KPRNet: Improving projection-based LiDAR semantic segmentation

Deyvid Kochanov, Fatemeh Karimi Nejadasl+1 more|arXiv (Cornell University)|Jul 24, 2020

Robotics and Sensor-Based Localization参考文献 14被引用数 61

ひとこと要約

Tldr: KPRNetは2D projectionベースのCNNと学習可能な3D KPConvモジュールを組み合わせて後処理を置換し、SemanticKITTIで最先端のmean IoU(63.1)を達成します。

ABSTRACT

Semantic segmentation is an important component in the perception systems of autonomous vehicles. In this work, we adopt recent advances in both image and point cloud segmentation to achieve a better accuracy in the task of segmenting LiDAR scans. KPRNet improves the convolutional neural network architecture of 2D projection methods and utilizes KPConv to replace the commonly used post-processing techniques with a learnable point-wise component which allows us to obtain more accurate 3D labels. With these improvements our model outperforms the current best method on the SemanticKITTI benchmark, reaching an mIoU of 63.1.

研究の動機と目的

• 都市データセットで事前学習済みの強力な2D projectionベースCNNを活用して、 LiDARセマンティックセグメンテーションを改善する。
• ラベルの細分化のための学習可能な3D KPConvモジュールを導入して、手作業のポスト処理を排除する。
• 投影された2D特徴から3Dポイントラベルへエンドツーエンド学習によって、より高い3Dラベリング精度を達成する。
• 既存の2Dおよびポイント単位の手法と比較して、SemanticKITTIベンチマークで最先端の性能を示す。

提案手法

• Cityscapesで事前に学習済みのResNeXt-101エンコーダとPanoptic-DeepLab風デコーダを用いた2Dセマンティックセグメンテーションネットワークを使用する。
• LiDARスキャンを2Dレンジ画像に投影しCNN特徴を抽出し、再投影して3Dポイントへ戻す。
• 各ポイントラベルを最終分類前に refine するKPConvベースの3Dモジュールを接続する。
• 2D CNNと3D KPConvをエンドツーエンドで学習可能なパイプラインに統合する。
• SGD、コサイン学習率スケジュール、標準的なデータ拡張を用いて訓練し、SemanticKITTIで評価する。

実験結果

リサーチクエスチョン

• RQ1 強化された2D projectionベースのCNNを、学習可能な3Dコンポーネントと組み合わせると、LiDARセマンティックセグメンテーションの性能を改善できるか？
• RQ2 従来のポスト処理（例：CRF、KNN）をKPConvレイヤに置換することで、3Dラベルの精度が向上するか？
• RQ3 提案手法KPRNetは、SemanticKITTIにおいてmean IoUの点で最先端手法と比較してどのような性能を示すか？

主な発見

車	自転車	オートバイ	トラック	その他の車両	人	自転車乗り	オートバイ運転者	道路	駐車	歩道	その他の地面	建物	柵	植生	樹幹	地形	ポール	交通標識	平均IoU
95.5	54.1	47.9	23.6	42.6	65.9	65.0	16.5	93.2	73.9	80.6	30.2	91.7	68.4	85.7	69.8	71.2	58.7	64.1	63.1
95.5	54.1	47.9	23.6	42.6	65.9	65.0	16.5	93.2	73.9	80.6	30.2	91.7	68.4	85.7	69.8	71.2	58.7	64.1	63.1

• SemanticKITTIでは、KPRNetはmean IoU63.1を達成し、以前の最良の2D手法SalsaNextを3.6 mIoU、最良のKPConvベース手法を4.3 mIoU上回る。
• ポスト処理をKPConvレイヤに置換することで、ベースラインの2DプラスKNNアプローチより明確な精度向上を提供する。
• モデルはResNeXt-101の特徴とASPP、および3D KPConvの refineを活用して、各ポイントのラベリングを改善する。
• エンドツーエンド学習性により、2D投影を3D空間で効果的に refined できる。
• 複数の同時代手法（RangeNet++、RandLa-Net、SqueezeSegV3 など）と比較して、KPRNetはクラス別性能と全体のmean IoUで競争力がある、または上回る。