[論文レビュー] Open-sourced Data Ecosystem in Autonomous Driving: the Present and Future

Hongyang Li, Yang Li+17 more|arXiv (Cornell University)|Dec 6, 2023

Advanced Neural Network Applications被引用数 5

ひとこと要約

本稿は、センサーの複雑さ、データ規模、タスク範囲に基づいて2世代に分類された、オープンソースの自動運転データセットの包括的サーベイを提示する。基礎モデル、モジュラー設計、スケーラブルなデータエンジンを活用した第3世代のデータセットのビジョンを提唱し、長尾シナリオの対応とモデルの汎化性能の向上を図るものであり、データエコシステム分析と自動運転システムの今後の研究方向性において主な貢献を果たす。

ABSTRACT

With the continuous maturation and application of autonomous driving technology, a systematic examination of open-source autonomous driving datasets becomes instrumental in fostering the robust evolution of the industry ecosystem. Current autonomous driving datasets can broadly be categorized into two generations. The first-generation autonomous driving datasets are characterized by relatively simpler sensor modalities, smaller data scale, and is limited to perception-level tasks. KITTI, introduced in 2012, serves as a prominent representative of this initial wave. In contrast, the second-generation datasets exhibit heightened complexity in sensor modalities, greater data scale and diversity, and an expansion of tasks from perception to encompass prediction and control. Leading examples of the second generation include nuScenes and Waymo, introduced around 2019. This comprehensive review, conducted in collaboration with esteemed colleagues from both academia and industry, systematically assesses over seventy open-source autonomous driving datasets from domestic and international sources. It offers insights into various aspects, such as the principles underlying the creation of high-quality datasets, the pivotal role of data engine systems, and the utilization of generative foundation models to facilitate scalable data generation. Furthermore, this review undertakes an exhaustive analysis and discourse regarding the characteristics and data scales that future third-generation autonomous driving datasets should possess. It also delves into the scientific and technical challenges that warrant resolution. These endeavors are pivotal in advancing autonomous innovation and fostering technological enhancement in critical domains. For further details, please refer to https://github.com/OpenDriveLab/DriveAGI.

研究の動機と目的

• 認識、マッピング、計画タスクの観点から、現在のオープンソースの自動運転データセットの状態を体系的に分析すること。
• 特にレアな長尾シナリオの対応やデータ品質管理の面で既存データセットに見られる限界を特定し、次世代データシステムの必要性を示すこと。
• 基礎モデルを用いた自動ラベリングを含む、スケーラブルなデータ収集、ラベリング、シミュレーションを可能にするデータエンジンシステムの役割を調査すること。
• 第3世代の自動運転データセットに求められる基本的特徴、すなわちモジュラー設計、マルチモーダルセンサー統合、推論対応データを定義すること。
• 次世代データエコシステムにおける主な技術的・科学的課題を提示することで、今後の研究開発と産業界の進展を導くこと。

提案手法

• センサーモダリティ、データ規模、シナリオの多様性、対応タスクの観点から、70以上ものオープンソース自動運転データセットを2世代に分類した。
• 主要企業および研究機関のデータエンジンシステムを分析し、ラベリング、品質管理、シミュレーション、基礎モデルを活用した自動ラベリングの観点に注目した。
• 基礎モデルが多様なエージェント、道路標識、天候条件を備えた仮想交通環境を高精細かつスケーラブルに生成する役割を評価した。
• 人為的作業を削減し、スケーラビリティを向上させるために、データ収集、アノテーション、シミュレーション、モデルファインチューニングを統合したモジュラーでエンドツーエンドのデータパイプラインを提案した。
• 自然言語および推論機能をデータセットに統合することで、自律走行システムにおけるより複雑な意思決定を支援する可能性を議論した。
• 大規模な基礎モデル、高精細シミュレーション、長尾シナリオカバレッジを重視した第3世代データセットのビジョンを提示した。

実験結果

リサーチクエスチョン

• RQ1 センサーダイバーシティ、データ規模、タスク範囲の観点から、第1世代と第2世代の自動運転データセットの主な違いは何か？
• RQ2 現代のデータエンジンシステムは、自動運転データパイプラインにおけるデータ品質、ラベリング効率、スケーラビリティをどのように向上させているか？
• RQ3 基礎モデルを活用することで、自動運転用に高品質で多様性に富み、スケーラブルな合成データをどのように生成できるか？
• RQ4 強固で汎化性が高く安全な自律走行システムを支援するため、第3世代の自動運転データセットに備えるべき基本的特徴は何か？
• RQ5 限られた実世界データしかない長尾ドライブシナリオを効果的に対処できるように、データエコシステムはどのように設計すべきか？

主な発見

• KITTI（2012年）のような第1世代のデータセットは、フロントカメラとLiDARに限定され、認識レベルのタスクに特化していたが、nuScenesやWaymo（2019年）のような第2世代のデータセットは、マルチセンサーフュージョン、HDマップ、認識、予測、計画にまでタスクを拡張した。
• 自動運転モデルの性能は、あるデータ量を超えると頭打ちになることが示され、データ量そのものでは不十分であることが明らかになった。むしろ、シナリオの多様性と長尾シナリオのカバレッジがより重要である。
• 基礎モデルにより、エージェント、道路標識、天候条件に多様性を持つ高精細な仮想交通環境をスケーラブルに生成可能となり、高価な実世界データ収集への依存が軽減された。
• 自動ラベリング、シミュレーション、品質管理を統合したデータエンジンシステムは、アノテーションコストを顕著に削減し、データの一貫性とスケーラビリティを向上させた。
• 第3世代のデータセットは、大規模な基礎モデルの統合、モジュラーかつエンドツーエンドのシステム開発の支援、推論対応アノテーションの導入が不可欠であり、モデルの汎化性能を向上させる。
• 自然言語および論理的推論機能のデータセットへの統合は、自律走行システムが複雑な交通シナリオを理解し、説明可能な意思決定を下せるようにするために不可欠である。