[論文レビュー] ScenarioNet: Open-Source Platform for Large-Scale Traffic Scenario Simulation and Modeling

Quanyi Li, Zhenghao Peng+5 more|arXiv (Cornell University)|Jun 21, 2023

Autonomous Vehicle Technology and Safety被引用数 19

ひとこと要約

ScenarioNet は、複数のデータセットから実世界の運転データを統合し、大規模な交通シナリオのシミュレーションとモデリングのための統一オープンソースプラットフォームを提供します。データ駆動型のシナリオ生成、クロスデータセット RL/IL トレーニング、マルチエージェント学習、および MetaDrive における AD スタックのテストを可能にします。

ABSTRACT

Large-scale driving datasets such as Waymo Open Dataset and nuScenes substantially accelerate autonomous driving research, especially for perception tasks such as 3D detection and trajectory forecasting. Since the driving logs in these datasets contain HD maps and detailed object annotations which accurately reflect the real-world complexity of traffic behaviors, we can harvest a massive number of complex traffic scenarios and recreate their digital twins in simulation. Compared to the hand-crafted scenarios often used in existing simulators, data-driven scenarios collected from the real world can facilitate many research opportunities in machine learning and autonomous driving. In this work, we present ScenarioNet, an open-source platform for large-scale traffic scenario modeling and simulation. ScenarioNet defines a unified scenario description format and collects a large-scale repository of real-world traffic scenarios from the heterogeneous data in various driving datasets including Waymo, nuScenes, Lyft L5, and nuPlan datasets. These scenarios can be further replayed and interacted with in multiple views from Bird-Eye-View layout to realistic 3D rendering in MetaDrive simulator. This provides a benchmark for evaluating the safety of autonomous driving stacks in simulation before their real-world deployment. We further demonstrate the strengths of ScenarioNet on large-scale scenario generation, imitation learning, and reinforcement learning in both single-agent and multi-agent settings. Code, demo videos, and website are available at https://metadriverse.github.io/scenarionet.

研究の動機と目的

• 異種の運転データをスケーラブルな交通シナリオへ変換する統一フォーマットを提供する。
• 複数データセットから実世界のシナリオを集約し、クロスデータセットのトレーニングと評価を可能にする。
• 単一エージェントおよびマルチエージェント設定で大規模なシナリオ生成、模倣学習、強化学習を実現する。
• ROS ブリッジ統合を通じた自動運転スタックのシミュレーションベースのテストをサポートする。

提案手法

• 4つのトップレベルキーを持つ統一されたネストされた辞書型のシナリオ説明を定義する。
• Waymo、nuScenes、nuPlan、L5、Argoverse、そして手続き的に生成されたデータのシナリオを統一フォーマットへ変換する。
• 2D BEV および 3D レンダリング、センサーシミュレーションを備えた MetaDrive シミュレータでシナリオをリプレイする。
• コピー不要で並列化されたデータセット管理操作（変換、サニティチェック、マージ、フィルタリング、分割、サンプリング）を提供する。
• コンバーターを介して新しいデータセットを追加するツールを提供し、マルチプロセッシングで変換を拡張する。
• データ層、システム層、アプリケーション層をデータ変換とシミュレーションフローで結ぶシステムアーキテクチャを説明する。

Figure 1: Snapshots of three scenarios extracted from nuScenes and their corresponding interactive environments with multiple views and sensors including RGB camera, depth camera, and semantic camera. The RGB sensor can be used for end-to-end driving systems like Openpilot [ 10 ] .

実験結果

リサーチクエスチョン

• RQ1 現実世界の運転データセットを、シミュレーション用のスケーラブルで相互運用可能なシナリオデータベースへ統一できるか。
• RQ2 クロスデータセットのトレーニングは、模倣学習および強化学習において単一データセットのトレーニングと比べてポリシー学習を改善するか。
• RQ3 ScenarioNet は統一されたシナリオを用いて効果的なマルチエージェント学習と AD スタックのテストをサポートできるか。
• RQ4 合成シナリオと実世界シナリオを集約することは、ポリシーの一般化とシミュレーションから現実世界への転送にどのような影響を与えるか。

主な発見

データセット	トラック長	車両数	歩行者数	交差点比率	構築比率
Waymo	136.55( ± 95.98)	89.93( ± 64.51)	11.7( ± 22.97)	0.71	0.0
nuPlan	95.48( ± 42.32)	53.96( ± 25.35)	21.99( ± 19.9)	0.57	1.0
PG	226.07( ± 70.7)	9.81( ± 3.31)	0.0	0.36	0.39

• 統一されたシナリオ記述は、Waymo、nuScenes、L5、nuPlan、Argoverse の複数データセットに対して MetaDrive でのリプレイと対話を可能にする。
• クロスデータセットのカリキュラム RL 実験は、実世界データが現実データセットで評価された場合、合成データのみより成功率を改善する。
• 合成データと実世界データを組み合わせると、ポリシーの性能が向上し、nuPlan-test で曲線的な軌道への一般化が改善される。"
• MARL/IL の実験は、報酬、終了条件、評価のために真値の軌道を使用することで、マルチエージェント設定での効果的な学習を促進することを示す。
• Openpilot は ScenarioNet で再構築された実世界シナリオで動作可能であり、エンドツーエンドの自動運転スタックの実践的なテストを示している。
• Table 2 および Table 3 は、それぞれデータセットの統計とマルチエージェント学習の結果を要約しており、データセットのトラック長、車両数、 RL/IL の性能を示している。

Figure 3: From bottom to top, ScenarioNet platform consists of the data layer, system layer, and application layer which are connected by two critical data flows, data conversion ( $\rightarrow$ ) and simulation ( $\rightarrow$ ) . Data conversing unifies various data formats and stores them in an i