[論文レビュー] Deep Learning for LiDAR Point Clouds in Autonomous Driving: A Review

Ying Li, Lingfei Ma+5 more|arXiv (Cornell University)|May 20, 2020

Advanced Neural Network Applications参考文献 143被引用数 25

ひとこと要約

本稿は、自動運転におけるLiDAR点群の深層学習（DL）技術について、包括的なレビューを提供している。主な焦点は3次元（3D）セマンティックセグメンテーション、オブジェクト検出、分類である。140件を超える主要な研究を調査し、最先端のモデル、データセット、評価指標を評価するとともに、データの疎らさ、モデルの効率性、弱教師付き学習の必要性といった重要な課題を特定している。

ABSTRACT

Recently, the advancement of deep learning in discriminative feature learning from 3D LiDAR data has led to rapid development in the field of autonomous driving. However, automated processing uneven, unstructured, noisy, and massive 3D point clouds is a challenging and tedious task. In this paper, we provide a systematic review of existing compelling deep learning architectures applied in LiDAR point clouds, detailing for specific tasks in autonomous driving such as segmentation, detection, and classification. Although several published research papers focus on specific topics in computer vision for autonomous vehicles, to date, no general survey on deep learning applied in LiDAR point clouds for autonomous vehicles exists. Thus, the goal of this paper is to narrow the gap in this topic. More than 140 key contributions in the recent five years are summarized in this survey, including the milestone 3D deep architectures, the remarkable deep learning applications in 3D semantic segmentation, object detection, and classification; specific datasets, evaluation metrics, and the state of the art performance. Finally, we conclude the remaining challenges and future researches.

研究の動機と目的

• 自動運転車におけるLiDAR点群の深層学習応用について、包括的なサーベイが不足しているという問題に対処すること。
• 3D深層学習アーキテクチャの主要な発展を体系的に整理・分析し、セグメンテーション、検出、分類のタスクへの応用を明らかにすること。
• 既存のLiDARデータセット、評価指標、および主なタスクにおける最先端のパフォーマンスを要約すること。
• 耐障害性のあるデータ表現、効率的なフレームワーク、文脈学習、マルチタスク学習、弱教師付き手法に関する、未解決の課題と今後の研究方向性を特定すること。

提案手法

• 過去5年間におけるLiDAR点群の深層学習分野の140件を超える主要な貢献を体系的にレビューする。
• PointNet、PointNet++、PointCNN、DGCNN、RotationNetなどのアーキテクチャを基に、3D深層学習モデルを設計の観点から分類・比較する。
• ボクセル、点群、グラフ、2次元投影などのデータ表現を分析し、その性能と効率性のトレードオフを評価する。
• KITTI、nuScenes、Waymoなどのベンチマークデータセットを調査し、セグメンテーションおよび検出のための標準的な評価指標（mIoU、mAP、IoUなど）を要約する。
• 定量的ベンチマークを用いてモデルのパフォーマンスを評価し、精度、推論速度、一般化性能におけるトレンドを同定する。
• データの疎らさ、エンドツーエンド融合の欠如、教師あり学習における一般化の制限といった未解決の課題を特定・議論する。

実験結果

リサーチクエスチョン

• RQ1 自動運転応用における3次元点群処理を進展させた主な深層学習アーキテクチャは何か？
• RQ2 ボクセル、点群、グラフなどの異なるデータ表現は、3次元深層学習モデルの性能と効率性にどのように影響を与えるか？
• RQ3 自動運転における3次元セマンティックセグメンテーション、オブジェクト検出、分類の分野で最も広く使われているデータセットと評価指標は何か？
• RQ4 現在のLiDAR点群のための深層学習アプローチにおける主な制限要因と未解決の課題は何か。特に、データの疎らさとモデルの一般化性能の観点から。
• RQ5 マルチタスク学習、弱教師付き学習、教師なし学習は、3次元認識モデルの耐障害性とスケーラビリティをどのように向上させうるか？

主な発見

• PointNetとPointNet++は、順序に依存しない性質を達成し、無順序な点群セットに対するエンドツーエンド学習を可能にすることで、点群処理の基盤を確立した。
• DGCNN や PointCNN は、グラフ畳み込みと適応的受容 field を通じて局所特徴抽出を向上させ、複雑なシーンでも性能を向上させた。
• ボクセルベースの手法は構造化された表現を提供するが、解像度の立方乗に比例して計算コストが高くなるという欠点がある。
• 進展は見られたが、精度と計算コストの両立を図るメモリ効率的で頑健な3次元データ表現について、まだ合意形成がなされていない。
• 最先端のモデルは、KITTI や nuScenes において3次元オブジェクト検出で mAP (>80%) を達成しているが、埋め込み型プラットフォームでのリアルタイム推論は依然として課題である。
• 点群の疎らさや不完全性の処理、文脈的情報の抽出、大規模で完全にアノテーションされたデータセットへの依存の低減といった、主な課題が残っている。