[论文解读] Imitation with Spatial-Temporal Heatmap: 2nd Place Solution for NuPlan Challenge

Yihan Hu, Kun Li+8 more|arXiv (Cornell University)|Jun 26, 2023

Autonomous Vehicle Technology and Safety被引用 8

一句话总结

提出一个基于行为克隆的规划器，使用时空热力图预测自车轨迹与周围占用情况，随后进行后端求解以保障安全与舒适，在 NuPlan 2023 中获得第二名，具备最佳自车进展与舒适性。

ABSTRACT

This paper presents our 2nd place solution for the NuPlan Challenge 2023. Autonomous driving in real-world scenarios is highly complex and uncertain. Achieving safe planning in the complex multimodal scenarios is a highly challenging task. Our approach, Imitation with Spatial-Temporal Heatmap, adopts the learning form of behavior cloning, innovatively predicts the future multimodal states with a heatmap representation, and uses trajectory refinement techniques to ensure final safety. The experiment shows that our method effectively balances the vehicle's progress and safety, generating safe and comfortable trajectories. In the NuPlan competition, we achieved the second highest overall score, while obtained the best scores in the ego progress and comfort metrics.

研究动机与目标

• 在复杂多模态自动驾驶场景中促进安全、高效规划。
• 开发一种多阶段模仿学习系统，预测多模态自车轨迹和周围动态。
• 引入时空热力图表示以捕捉规划中的多模态性与不确定性。
• 用下游优化（后端求解）在保持运动学和舒适性约束的前提下 refine 预测轨迹。

提出的方法

• 使用六通道栅格输入，包含自车状态、其他智能体历史、地图和路线信息，以及自车速度。
• 采用带 ResNet50 主干和类似 Unet 的颈部的编码-解码架构，生成多尺度特征。
• 三个头部：自车轨迹预测、自车热力图预测、以及周围智能体占用预测。
• 自车热力图通过上采样至 0.25m/像素并使用高斯目标进行监督，预测每个时间步的细粒度鸟瞰图位置概率。
• 占用头输出每个时间步周边智能体的概率网格。
• 后端求解器（CasADi ipopt）使用 imitation 损失、热力图/占用惩罚及碰撞密度的联合代价，对初始轨迹进行 refining，且符合车辆运动学与舒适性约束。

实验结果

研究问题

• RQ1 时空热力图表示是否能在多模态规划中优于单轨迹输出的处理？
• RQ2 在闭环评估中，结合周边智能体占用预测与自车热力图是否能产生更安全、舒适的轨迹？
• RQ3 在真实 NuPlan 场景下，后优化步骤如何影响安全性、可行驶区域的遵循与舒适性？
• RQ4 基于扰动的数据增强对 imitation-based 规划的开环与闭环性能有何影响？

主要发现

rank	methods	final score	open loop (ch1)	cl-nr (ch2)	cl-r (ch3)	collisions	TTC	drivable	comfort	progress	speed limit	direction
1	CS_Tu	0.90	0.83	0.93	0.93	0.99	0.93	1.00	0.92	0.91	1.00	1.00
2	hoplan(Ours)	0.87	0.85	0.89	0.88	0.96	0.91	0.99	0.99	0.92	0.96	0.99
3	pegasus_multipath	0.85	0.88	0.82	0.85	0.93	0.88	0.95	0.93	0.79	0.93	0.95
4	GameFormer	0.83	0.84	0.81	0.84	0.94	0.88	0.96	0.94	0.84	0.97	0.99

• 基于时空热力图的规划方法在闭环性能上表现出色，提升对多模态的处理能力。
• 后端优化显著提升闭环测试中的碰撞避免与可行驶区域合规性。
• 扰动型数据增强提升了开环与闭环性能以及数据利用率。
• 该方法在私有测试集中的自车舒适度与进展分数达到最高。
• 带热力图与占用监督的多任务学习在多智能体环境中优于单轨迹基线。