[論文レビュー] aiMotive Dataset: A Multimodal Dataset for Robust Autonomous Driving with Long-Range Perception

Tamás Matuszka, Iván Barton+12 more|arXiv (Cornell University)|Nov 17, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文では、高速道路、都市部、および準都市部の環境で昼間、夜間、雨天の状態をカバーする、同期化されたLiDAR、カメラ、レーダーのマルチモーダルセンサーを備えた、360°の視野を持つ自律走行データセットであるaiMotive Datasetを紹介する。200メートルまでの長距離にわたる拡張された3次元オブジェクトアノテーションを備え、長距離の周辺認識を強化しており、LiDAR、レーダー、カメラのマルチモーダル融合が、夜間や雨天といった困難な条件下でも検出性能を向上させることを示すベースラインモデルを提供している。

ABSTRACT

Autonomous driving is a popular research area within the computer vision research community. Since autonomous vehicles are highly safety-critical, ensuring robustness is essential for real-world deployment. While several public multimodal datasets are accessible, they mainly comprise two sensor modalities (camera, LiDAR) which are not well suited for adverse weather. In addition, they lack far-range annotations, making it harder to train neural networks that are the base of a highway assistant function of an autonomous vehicle. Therefore, we introduce a multimodal dataset for robust autonomous driving with long-range perception. The dataset consists of 176 scenes with synchronized and calibrated LiDAR, camera, and radar sensors covering a 360-degree field of view. The collected data was captured in highway, urban, and suburban areas during daytime, night, and rain and is annotated with 3D bounding boxes with consistent identifiers across frames. Furthermore, we trained unimodal and multimodal baseline models for 3D object detection. Data are available at \url{https://github.com/aimotive/aimotive_dataset}.

研究の動機と目的

• 自律走行のための、公開可能なマルチモーダルデータセットに、長距離の3次元オブジェクトアノテーションが不足している問題を解決すること。
• 既存のデータセットがレーダーを欠如させていることや、通常100メートル未塔の短い認識範囲に制限されていることの課題を克服し、悪天候時や長距離高速道路走行のような状況でも対応できるようにすること。
• フレーム間で一貫した3次元バウンディングボックスアノテーションを提供することで、長距離3次元オブジェクト検出のためのマルチモーダルセンサーフュージョンの研究を可能にすること。
• 多様な環境条件下での3次元オブジェクト検出および追跡のための単一モーダルおよびマルチモーダルモデルの開発とベンチマークの支援。
• 自律走行車両の高速道路アシスト機能に不可欠な長距離認識システムに関する研究を促進すること。

提案手法

• 360°の視野をカバーする同期化およびキャリブレーション済みのLiDAR、カメラ、レーダーを備えた176シーンを収集した。
• 高速道路、都市部、準都市部の環境と、昼間、夜間、雨天の多様な状況をカバーするデータを収集した。
• トラッキングおよび検出タスク用に、フレーム間で一貫したオブジェクトIDを用いた3次元バウンディングボックスで全シーンをアノテーションした。
• エゴ車両からの距離を200メートルまで拡張し、多数の既存データセットと比較して顕著に長い範囲をカバーした。
• 3次元オブジェクト検出のための単一モーダル（LiDARオンリー、カメラオンリー）およびマルチモーダル（LiDAR＋カメラ＋レーダー）ベースラインモデルを訓練および評価した。
• 標準的な指標（AP（平均精度）、AP-R40、分類精度）を用いて、異なる距離範囲および状況下での性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 LiDAR、カメラ、レーダーのマルチモーダル融合は、長距離認識のシナリオにおいて3次元オブジェクト検出性能をどのように向上させるか？
• RQ2 雨天や低照度状態（例：夜間）のような悪条件において、LiDARオンリーまたはカメラオンリーのモデルと比較して、レーダーの統合による性能向上はどの程度か？
• RQ3 高速道路、都市部、夜間、雨天といった異なる環境条件下および距離範囲（0–60m、60–120m、120–200m）における検出性能はどのように変化するか？
• RQ4 カメラオンリーのモデルは長距離認識において信頼性のある性能を達成できるか？また、LiDARベースのベースラインと比較してどうなるか？
• RQ5 センサーレイアンドンとマルチモーダル融合は、実世界の自律走行シナリオにおける耐障害性および汎化性能にどのような影響を与えるか？

主な発見

• マルチモーダルベースライン（LiDAR、レーダー、カメラ）は、[60–120] m範囲で最高のAP-R40スコア0.656を達成し、LiDARオンリー（0.624）およびLiDAR＋カメラ（0.618）ベースラインを上回った。
• [120–200] m範囲では、LiDAR＋レーダー＋カメラの統合モデルがAP-R40として0.178を達成し、LiDARオンリー（0.237）を顕著に上回り、遠距離領域における最も頑健な性能を示した。
• レーダー統合により、夜間（AP-R40：0.692 vs. LiDARオンリーの0.657）および雨天時（AP-R40：0.389 vs. LiDARオンリーの0.302）の両方で検出性能が向上し、悪天候下での価値が裏付けられた。
• カメラオンリーのモデルは全体的に性能が低く、近距離領域（<30m）のAP-R40はわずか0.406にとどまり、遠距離領域では0.10未満であった。これは、長距離認識に向けた信頼性の欠如を示している。
• マルチモーダル統合により、すべての距離範囲および状況で一貫した性能向上が見られ、特に都市部および夜間のスプリットで顕著だった。センサーレイアンドンの重要性が浮き彫りになった。
• LiDAR＋レーダー＋カメラモデルは、[60–120] m範囲で最高の分類精度（0.790）およびAOS（0.874）を達成し、検出品質と信頼性の向上を示した。