[论文解读] End-to-end Interpretable Neural Motion Planner

Wenyuan Zeng, Wenjie Luo+5 more|arXiv (Cornell University)|Jan 17, 2021

Autonomous Vehicle Technology and Safety参考文献 32被引用 4

一句话总结

该论文提出了一种端到端可解释的神经运动规划器（NMP），通过处理原始LiDAR和高清地图数据，生成3D检测结果、未来轨迹以及用于运动规划的时间依赖成本体积。该模型基于成本体积采样多样化且物理上可行的轨迹，并选择学习成本最低的轨迹，从而在保持检测与运动预测性能处于最先进水平的同时，实现了比基线方法更安全的规划，在真实城市驾驶数据上表现优异。

ABSTRACT

In this paper, we propose a neural motion planner (NMP) for learning to drive autonomously in complex urban scenarios that include traffic-light handling, yielding, and interactions with multiple road-users. Towards this goal, we design a holistic model that takes as input raw LIDAR data and a HD map and produces interpretable intermediate representations in the form of 3D detections and their future trajectories, as well as a cost volume defining the goodness of each position that the self-driving car can take within the planning horizon. We then sample a set of diverse physically possible trajectories and choose the one with the minimum learned cost. Importantly, our cost volume is able to naturally capture multi-modality. We demonstrate the effectiveness of our approach in real-world driving data captured in several cities in North America. Our experiments show that the learned cost volume can generate safer planning than all the baselines.

研究动机与目标

• 通过在感知与规划之间引入可解释的中间表示，弥合端到端学习与传统模块化自动驾驶系统之间的差距。
• 开发一种运动规划器，能够生成可解释的中间输出——包括3D检测结果、未来轨迹以及时空成本体积，同时从真实世界数据中进行学习。
• 在包含交通灯处理、让行行为及多智能体交互等复杂城市场景中，提升安全性和鲁棒性。
• 通过暴露如成本图和运动预测等中间表示，实现更好的可解释性与故障分析能力。
• 在规划安全性、检测准确率和运动预测性能方面，超越端到端与模块化基线方法。

提出的方法

• 该模型使用主干网络处理原始LiDAR点云与高清地图，输出周围目标的3D边界框及其预测的未来轨迹。
• 生成一个多滤波器成本体积，编码在规划时域内每个可能的未来位置对自车的“优劣”程度，从而实现多模态行为的捕捉。
• 通过联合优化目标（结合检测、运动预测与规划损失）端到端学习该成本体积。
• 轨迹采样器基于成本体积生成多样化且物理上可行的候选轨迹。
• 最终运动规划选择为在所有时间步上累积成本最低的轨迹，其索引来自成本体积的滤波器。
• 模型引入交通规则惩罚项，以抑制碰撞和越线等不安全行为。

Figure 1: Our end-to-end interpretable neural motion planner (NMP). Backbone network takes LiDAR data and maps as inputs, and outputs bounding boxes of other actors for future timesteps (perception), as well as a cost volume for planning with $T$ filters. Next, for each trajectory proposal from the

实验结果

研究问题

• RQ1 端到端神经网络是否能够在保持通过中间表示实现可解释性的同时，联合优化感知与运动规划？
• RQ2 学习到的成本体积在多大程度上能够捕捉车道变道与保持等多模态驾驶行为？
• RQ3 检测、预测与规划的联合优化是否相比任务特定或模块化系统，能带来更高的安全性和性能？
• RQ4 该模型在拥有密集交通与动态交互的复杂城市场景中，其泛化能力如何？
• RQ5 在真实驾驶场景中，学习到的成本体积是否能超越人工设计的成本函数？

主要发现

• 所提出的NMP在IoU为0.5时达到94.2的mAP，0.6时为90.8，0.7时为81.1，优于Pixor和IntentNet等专用检测器，表现处于3D检测最先进水平。
• 在运动预测方面，该模型在所有时间步上的L1与L2误差均低于基线，t=5s时L2误差仅为0.85m，显示出更优的轨迹预测精度。
• 该模型将未来碰撞率大幅降低——比IL与Ego-motion基线低超过50%，证明其在规划安全性方面具有显著优势。
• 消融实验证实，联合训练中引入规划损失与交通规则惩罚项可显著提升规划性能，有效降低碰撞与越线率。
• 成本图可视化显示，模型学习到了时间依赖且场景感知的成本分布，包括多模态行为、车道保持与碰撞规避等特征。
• 该模型的车道越线率低于ACC（专为车道跟随设计），表明其从数据中学习到了地图感知行为，而非依赖硬编码规则。

Figure 2: Trajectory Representation. We first sample a set of parameters of a Clothoid to determine the shape of a trajectory. We then sample a velocity profile to determine how fast the SDV go along this trajectory. Combining these two, we can get a space-time trajectory.