[論文レビュー] Imitation with Spatial-Temporal Heatmap: 2nd Place Solution for NuPlan Challenge

Yihan Hu, Kun Li+8 more|arXiv (Cornell University)|Jun 26, 2023

Autonomous Vehicle Technology and Safety被引用数 8

ひとこと要約

2nd place in NuPlan 2023 with spatial-temporal heatmap-based planner for ego trajectory and occupancy, followed by a post-solver for safety and comfort.

ABSTRACT

This paper presents our 2nd place solution for the NuPlan Challenge 2023. Autonomous driving in real-world scenarios is highly complex and uncertain. Achieving safe planning in the complex multimodal scenarios is a highly challenging task. Our approach, Imitation with Spatial-Temporal Heatmap, adopts the learning form of behavior cloning, innovatively predicts the future multimodal states with a heatmap representation, and uses trajectory refinement techniques to ensure final safety. The experiment shows that our method effectively balances the vehicle's progress and safety, generating safe and comfortable trajectories. In the NuPlan competition, we achieved the second highest overall score, while obtained the best scores in the ego progress and comfort metrics.

研究の動機と目的

• 複雑な多モード自動運転シナリオにおける安全かつ効率的な計画を動機づける。
• 多モードの自我軌道と周囲ダイナミクスを予測する多段 imitation 学習システムを開発する。
• 計画の多様性と不確実性を捉える空間-時間ヒートマップ表現を導入する。
• 運動学と快適性制約を尊重する下流最適化（post-solver）で予測軌道を洗練させる。

提案手法

• ego状態、他車の履歴、地図・ルート情報、ego速度を捉える六チャネルラスタ入力を使用する。
• ResNet50をバックボーンとするエンコーダ-デコーダアーキテクチャとUnet様のネックでマルチスケール特徴を生成する。
• 三つのヘッド: ego軌道予測、egoヒートマップ予測、周辺車両の占有予測。
• Egoヒートマップは各時間ステップごとに0.25m/pixelへアップサンプリングし、ガウス対象を用いた教師信号で細粒度な鳥瞰位置確率を予測する。
• 占有ヘッドは各タイムステップで周囲車両の確率的グリッドを出力する。
• Post-solver（CasADi ipopt）は、模倣損失、ヒートマップ/占有ペナルティ、衝突密度を組み合わせたコストを用いて初期軌道を下流最適化し、車両の運動学と快適性を尊重する。

実験結果

リサーチクエスチョン

• RQ1 空間-時間ヒートマップ表現は単一軌道出力に比べて計画の多モダリティ処理を改善できるか。
• RQ2 egoヒートマップと共に周囲車両の占有予測を組み込むことで、クローズドループ評価でより安全で快適な軌道を生み出すか。
• RQ3 現実的なNuPlanシナリオにおいて、下流の最適化ステップは安全性、走行可能領域の遵守、快適性にどのように影響するか。
• RQ4 攪乱ベースのデータ拡張がオープンループとクローズドループの性能に与える影響は。

主な発見

rank	methods	final score	open loop (ch1)	cl-nr (ch2)	cl-r (ch3)	collisions	TTC	drivable	comfort	progress	speed limit	direction
1	CS_Tu	0.90	0.83	0.93	0.93	0.99	0.93	1.00	0.92	0.91	1.00	1.00
2	hoplan(Ours)	0.87	0.85	0.89	0.88	0.96	0.91	0.99	0.99	0.92	0.96	0.99
3	pegasus_multipath	0.85	0.88	0.82	0.85	0.93	0.88	0.95	0.93	0.79	0.93	0.95
4	GameFormer	0.83	0.84	0.81	0.84	0.94	0.88	0.96	0.94	0.84	0.97	0.99

• 空間-時間ヒートマップベースの計画アプローチは強力なクローズドループ性能を達成し、多モダリティ処理を改善する。
• Post-solver最適化はクローズドループ試験における衝突回避と走行可能領域の適合性を大きく向上させる。
• 攪乱ベースのデータ拡張はオープンループとクローズドループの性能とデータ活用の両方を改善する。
• この手法は private test set の NuPlan 競技者の中で最も高い ego 快適性と進捗スコアを達成した。
• ヒートマップと占有監視を用いるマルチタスク学習設定は、マルチエージェント環境において単一軌道ベースラインより優れている。