[論文レビュー] Driving Datasets Literature Review

Charles-Éric Noël Laflamme, François Pomerleau+1 more|arXiv (Cornell University)|Oct 26, 2019

Autonomous Vehicle Technology and Safety参考文献 108被引用数 17

ひとこと要約

この文献レビューは2019年までの自動運転データセットの現状を統合し、センサー、キャリブレーション手法、および物体検出、ステレオビジョン、行動分析などの主要なドライブタスクに分類している。物体検出、セグメンテーション、ローカライゼーション、行動予測の分野における40以上のデータセットについて、包括的で表形式の概要を提供しており、ベンチマークと研究のためのセンサー、アノテーション、および独自の特徴を強調している。

ABSTRACT

This report is a survey of the different autonomous driving datasets which have been published up to date. The first section introduces the many sensor types used in autonomous driving datasets. The second section investigates the calibration and synchronization procedure required to generate accurate data. The third section describes the diverse driving tasks explored by the datasets. Finally, the fourth section provides comprehensive lists of datasets, mainly in the form of tables.

研究の動機と目的

• 2019年までに発表された自動運転データセットを体系的に調査し、学術的および産業的リサーチに役立てるため。
• 特に外部認識（カメラ、LiDAR、イベントカメラなど）および自己認識センサー（IMU、GNSSなど）を含むセンサータイプを分類・分析するため。
• 自動車の周囲認識システムにおけるデータ正確性に不可欠なキャリブレーションおよび同期手順を検討するため。
• 物体検出、セマンティックセグメンテーション、モーション推定、行動分析などの主要なドライブタスクにデータセットをマッピングするため。
• 物体検出、セグメンテーション、ステレオビジョン、ローカライゼーション、行動予測の分野における40以上のデータセットを、センサー、アノテーション、環境条件のメタデータに関して編集・比較するため。

提案手法

• 機能およびデータ特性に基づき、外部認識（例：単眼、ステレオ、オムニディレクショナル、赤外線、イベント、偏光カメラ）および自己認識（例：IMU、GNSS）センサーに分類した。
• ステレオおよびマルチセンサーシステムのキャリブレーション技術をレビューし、深度および空間的正確性に不可欠な内部および外部キャリブレーションに焦点を当てた。
• マルチモーダルセンサーストリームを整合させるために、タイムスタンプおよびハードウェアトリガーを含むデータ同期手法を分析した。
• 7つのコアタスク（ステレオビジョン、モーション推定、物体検出、トラッキング、セマンティックセグメンテーション、ローカライゼーション、行動分析）にデータセットをマッピングした。
• 提供元、年、場所、期間、フレーム数、センサー、グランドトゥース、独自の特徴を詳細に記載した7つのカテゴリ別テーブル（4.1–4.7）にデータセットを編集・構造化した。
• 環境要因（天候、照明、都市部／農村部）、センサーアノテーションの質（例：3次元バウンディングボックス、オプティカルフロー、注視追跡）を含む、データセットの独自性を評価した。

実験結果

リサーチクエスチョン

• RQ1 自動運転データセットにおいて、どのセンサーモダリティが最も一般的で、環境的制限を補完するためにどのように相乗効果を発揮しているか？
• RQ2 マルチセンサーシステムにおけるデータの一貫性を確保するための標準的なキャリブレーションおよび同期手法は何か？
• RQ3 物体検出、セマンティックセグメンテーション、モーション推定などの主要な認識タスクにおいて、データセットは環境の多様性（例：天候、時間帯、都市部対農村部）およびアノテーションの複雑さの点でどのように異なるか？
• RQ4 3次元物体検出、セマンティックセグメンテーション、ドライバー行動予測などの特定のタスクに最も広く使われているデータセットは何か？
• RQ5 データセットは、長期的・マルチセッション・マルチセンサーローカライゼーションおよびマッピングをどのようにサポートしており、実世界の耐障害性テストにおける限界は何か？

主な発見

• KITTI、Cityscapes、BDD100Kのデータセットは、物体検出、セマンティックセグメンテーション、ステレオビジョンの分野で最も広く使われており、豊富なアノテーションと多様な実世界の条件を備えている。
• Kitti Stereo 2015 や HD1K といったステレオと LiDAR の統合データセットは、高精度な深度マップと3次元点群を提供し、高度な3次元認識タスクを可能にしている。
• オックスフォード・ロボットカーおよびマラガ・ステレオ・アーバンのデータセットは、長期的で多天候・多季節のデータ収集を可能にし、時間経過に伴う耐障害性の評価を可能にしている。
• JAAD、Brain4Cars、HDD といった行動予測データセットは、歩行者やドライバーの意思、注視追跡、マニューバー予測のための豊富なアノテーションを備えており、高度な行動モデリングを支援している。
• イベントカメラデータセット（例：DAVIS、DYPED）および偏光画像データセット（例：DAVIS）は登場しているが、非同期イベントストリーム処理のためのアルゴリズム的支援が限られているため、まだあまり使われていない。
• アポロ・オープンプラットフォームおよびcomma.aiのデータセットは、GNSS、CANバス、ビデオを含む大規模で現実世界のドライブデータを提供しており、エンドツーエンドの自動運転研究およびステアリング予測に貢献している。