[論文レビュー] NuPlan: A closed-loop ML-based planning benchmark for autonomous vehicles

Holger Caesar, Juraj Kabzan+7 more|arXiv (Cornell University)|Jun 22, 2021

Traffic Prediction and Management Techniques被引用数 84

ひとこと要約

自動運転向けの世界初の閉ループMLベース計画ベンチマークを導入。大規模な実世界データセット、軽量な閉ループシミュレータ、計画専用指標を備える。

ABSTRACT

In this work, we propose the world's first closed-loop ML-based planning benchmark for autonomous driving. While there is a growing body of ML-based motion planners, the lack of established datasets and metrics has limited the progress in this area. Existing benchmarks for autonomous vehicle motion prediction have focused on short-term motion forecasting, rather than long-term planning. This has led previous works to use open-loop evaluation with L2-based metrics, which are not suitable for fairly evaluating long-term planning. Our benchmark overcomes these limitations by introducing a large-scale driving dataset, lightweight closed-loop simulator, and motion-planning-specific metrics. We provide a high-quality dataset with 1500h of human driving data from 4 cities across the US and Asia with widely varying traffic patterns (Boston, Pittsburgh, Las Vegas and Singapore). We will provide a closed-loop simulation framework with reactive agents and provide a large set of both general and scenario-specific planning metrics. We plan to release the dataset at NeurIPS 2021 and organize benchmark challenges starting in early 2022.

研究の動機と目的

• 自動運転におけるMLベースの計画のための大規模な実世界データセットを提供する。
• 他のエージェントとの相互作用を評価する閉ループ計画ベンチマークを導入する。
• 安全性、人間の走行への類似性、シナリオベースの評価を含む計画特有の指標を定義する。
• MLベースの計画評価の共同開発と標準化を促進する。

提案手法

• センサー構成とセマンティックマップを備えた4都市（Las Vegas, Boston, Pittsburgh, Singapore）からの1500 hoursの自動ラベル付けされた走行データを公開する。
• 計画された軌道に従うコントローラと反応的エージェントモデリングを備えた軽量な閉ループシミュレータを提供する。
• 交通規則の遵守、人間の走行類似性、車両ダイナミクス、目標達成、シナリオベースのケースを含む計画中心の評価指標を定義する。
• コンテナ化された評価フレームワークを通じて、反応性・非反応性の閉ループタスクを含むオープンループおよび閉ループ評価をサポートする。
• シナリオを自動的にタグ付け（例：合流、車線変更、保護左折など）して、シナリオベースの指標を有効にする。

実験結果

リサーチクエスチョン

• RQ1 実世界の走行データから閉ループMLベース計画ベンチマークをどのように構築できるか？
• RQ2 自動運転における計画品質、安全性、目標達成を最も適切に捉える指標は何か？
• RQ3 非反応性と反応性の閉ループ条件下で、MLベースのプランナーはどのように性能を発揮するか？
• RQ4 標準化されたベンチマークは地理・交通パターンを越えたMLベースの計画の進歩を促進できるか？

主な発見

• 閉ループプランナー評価を含む実世界データの最初の公開ベンチマークを提案。
• 4都市の高品質な自動ラベル付けトラックを含む、既存の中で最大規模の公開実世界AVデータセットを提供。
• 交通規則違反、人間の運転の類似性、車両ダイナミクス、目標達成など、計画特有の指標を包括的に列挙。
• 再現性のある閉ループテストを可能にする、コンテナ化されたプランナー提出を含むオープンな評価ワークフローを導入。