[論文レビュー] A Survey on Autonomous Driving Datasets: Statistics, Annotation Quality, and a Future Outlook

Mingyu Liu, Ekim Yurtsever+6 more|arXiv (Cornell University)|Jan 2, 2024

Data Stream Mining Techniques被引用数 4

ひとこと要約

本稿は、200以上の自動運転データセットを包括的に調査し、センサーのモダリティ、データ統計、アノテーション品質、タスクの多様性を分析している。また、データセットの影響を評価するためのインパクトスコア指標を導入し、将来のデータセットに向けたトレンドとして、エンドツーエンドドライブ、ビジョン・ランゲージモデリング、VLM駆動のデータ生成を特定している。

ABSTRACT

Autonomous driving has rapidly developed and shown promising performance due to recent advances in hardware and deep learning techniques. High-quality datasets are fundamental for developing reliable autonomous driving algorithms. Previous dataset surveys either focused on a limited number or lacked detailed investigation of dataset characteristics. To this end, we present an exhaustive study of 265 autonomous driving datasets from multiple perspectives, including sensor modalities, data size, tasks, and contextual conditions. We introduce a novel metric to evaluate the impact of datasets, which can also be a guide for creating new datasets. Besides, we analyze the annotation processes, existing labeling tools, and the annotation quality of datasets, showing the importance of establishing a standard annotation pipeline. On the other hand, we thoroughly analyze the impact of geographical and adversarial environmental conditions on the performance of autonomous driving systems. Moreover, we exhibit the data distribution of several vital datasets and discuss their pros and cons accordingly. Finally, we discuss the current challenges and the development trend of the future autonomous driving datasets.

研究の動機と目的

• センサーモダリティ、データサイズ、タスク、文脈的条件の観点から、200以上の自動運転データセットを包括的かつ体系的に分析すること。
• 研究コミュニティにおける認識データセットの影響と重要性を評価するための新しいインパクトスコア指標を導入すること。
• 主なデータセットにおけるアノテーション手法と品質要因を分析し、主な課題とベストプラクティスを同定すること。
• 地理的・時間的・センサーカンfigレーションの観点からのデータ分布のパターンを調査し、データセット選定および開発の支援を行うこと。
• エンドツーエンド学習、ビジョン・ランゲージ統合、VLM駆動のデータ生成を含む、将来の自動運転データセットのトレンドを予測すること。

提案手法

• 著者らは2009年から2023年までの間で、実世界、合成、ハイブリッドのデータソースを含む、204の公開済み自動運転データセットを収集・分析した。
• 引用頻度、データセットサイズ、タスクカバレッジ、アノテーション品質に基づくインパクトスコア指標を導入し、データセットの影響を順位付けした。
• 認識、予測、計画、制御の各タスクにおける12の高影響力データセットについて、詳細な比較分析を実施した。
• nuScenes、Waymo、KITTIなどのデータセットにおけるラベル付けの一貫性、バウンディングボックス密度、意味的正確性を評価するフレームワークを用いて、アノテーション品質を評価した。
• 地理的・時間的分布を可視化することで、データ収集におけるバイアスと進化の傾向を明らかにした。
• エンドツーエンドドライブ、マルチモーダル言語・ビジョンデータ、VLMを用いた合成データ生成を含む、新たなデータセットのトレンドを同定した。

実験結果

リサーチクエスチョン

• RQ1 200以上の調査対象自動運転データセットにおいて、支配的であるセンサーモダリティ、データサイズ、タスク分布は何か？
• RQ2 主なデータセット間でアノテーション品質はどのように異なるのか。また、その品質に最も顕著に影響を与える要因は何か？
• RQ3 各データセットが研究コミュニティに与える影響は何か。そして、これを定量的に測定する方法は何か？
• RQ4 データ分布は地理的・時間的・センサーカンフィギュレーションの観点からどのように変化し、どのようなバイアスを示しているのか？
• RQ5 次世代の自動運転データセットを形作る主なトレンドと課題は何か？

主な発見

• インパクトスコア指標は、nuScenes、Waymo、KITTI といった高影響力データセットを的確に特定しており、包括的なアノテーションと広範なタスクカバレッジのおかげで高い順位を獲得している。
• アノテーション品質には顕著な差が見られる：nuScenes や Waymo は優れたラベル一貫性と3次元バウンディングボックスの正確性を示しているが、一部の小規模データセットではノイズが多く、一貫性に欠ける傾向がある。
• 実世界データセットは認識タスクで支配的であるが、合成データセットの利用は急速に増加しており、特にデータ拡張やドメイン適応の分野で活用されている。
• エンドツーエンドドライブ用データセットは依然として稀であり、11のデータセットにとどまっている。これは、統合的ドライビングエージェントの訓練と評価における重要なギャップを示している。
• DriveLM-nuScenes や LiDAR-text のようなビジョン・ランゲージデータセットが登場しており、視覚的質問応答や3次元キャプションといったマルチモーダルタスクを支援している。
• DriveGAN や DriveDreamer が示すように、VLM駆動のデータ生成は、最小限の人的アノテーションで高精細かつ多様な合成データを生成する強力な可能性を示している。