[论文解读] Differentiable Integrated Motion Prediction and Planning with Learnable Cost Function for Autonomous Driving

Zhiyu Huang, Haochen Liu+2 more|arXiv (Cornell University)|Jul 21, 2022

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

该论文提出了一种可微分的端到端框架（DIPP），联合训练自动驾驶中的运动预测与规划，并采用可学习的成本函数。通过将基于Transformer的预测器与可微分的非线性优化器结合，DIPP实现了对规划过程和成本函数权重的反向传播，在开环和闭环评估中均实现了类人的轨迹，且在鲁棒性和性能上优于独立的预测-规划流水线。

ABSTRACT

Predicting the future states of surrounding traffic participants and planning a safe, smooth, and socially compliant trajectory accordingly is crucial for autonomous vehicles. There are two major issues with the current autonomous driving system: the prediction module is often separated from the planning module and the cost function for planning is hard to specify and tune. To tackle these issues, we propose a differentiable integrated prediction-planning framework (DIPP) that can also learn the cost function from data. Specifically, our framework uses a differentiable nonlinear optimizer as the motion planner, which takes as input the predicted trajectories of surrounding agents given by the neural network and optimizes the trajectory for the autonomous vehicle, enabling all operations to be differentiable, including the cost function weights. The proposed framework is trained on a large-scale real-world driving dataset to imitate human driving trajectories in the entire driving scene and validated in both open-loop and closed-loop manners. The open-loop testing results reveal that the proposed method outperforms the baseline methods across a variety of metrics and delivers planning-centric prediction results, allowing the planning module to output trajectories close to those of human drivers. In closed-loop testing, the proposed method outperforms various baseline methods, showing the ability to handle complex urban driving scenarios and robustness against the distributional shift. Importantly, we find that joint training of planning and prediction modules achieves better performance than planning with a separate trained prediction module in both open-loop and closed-loop tests. Moreover, the ablation study indicates that the learnable components in the framework are essential to ensure planning stability and performance.

研究动机与目标

• 解决自动驾驶系统中解耦的预测与规划方法的局限性，即各模块独立训练且成本函数手动调优。
• 通过端到端训练使预测模块感知下游规划目标，从而提升规划性能。
• 从真实世界驾驶数据中学习成本函数权重，自动平衡安全性、舒适性和效率之间的权衡。
• 通过规划过程实现可微分优化，以支持对预测和成本函数参数的基于梯度的学习。
• 通过闭环仿真测试验证对分布偏移和对抗性场景的鲁棒性。

提出的方法

• 使用基于Transformer的神经网络，在多智能体场景中联合预测周围车辆的未来轨迹。
• 将预测的轨迹和初始规划输入可微分的非线性优化器（如序列二次规划）以生成自车的运动规划。
• 引入具有可微分权重的可学习成本函数，以平衡碰撞避免、驾乘舒适度和路径保持等目标。
• 将规划损失（预测轨迹与人类驾驶轨迹之间的差异）通过整个流水线反向传播，以联合优化预测和成本函数权重。
• 在大规模真实世界城市驾驶数据集上端到端训练整个框架，以模仿人类行为。
• 通过开环测试（直接轨迹对比）和闭环测试（展开仿真）进行验证，以评估实际部署中的鲁棒性。

实验结果

研究问题

• RQ1 与独立训练相比，联合训练预测与规划模块是否能提升规划性能？
• RQ2 从真实世界数据中学习到的可学习成本函数是否在复杂城市驾驶场景中优于手动调优的成本函数？
• RQ3 端到端可微分训练是否能提升闭环环境中对分布偏移的泛化能力和鲁棒性？
• RQ4 可学习组件（预测、成本函数、规划器）在多大程度上促进了规划的稳定性和性能？
• RQ5 可微分规划器是否能实现对预测和成本函数权重的基于梯度的优化，从而生成更类人的轨迹？

主要发现

• 在开环测试中，所提出的DIPP框架在多个指标上优于基线方法，包括规划精度、驾乘舒适度和安全性。
• 在闭环测试中，DIPP显著优于基于流水线和基于模仿学习的方法，展现出对分布偏移和对抗性智能体的鲁棒性。
• 联合训练预测与规划模块的性能优于分别训练，规划器从具备规划意识的预测中受益。
• 消融实验表明，所有可学习组件——预测、成本函数和规划器——对保持优化器稳定性和实现高性能规划均不可或缺。
• 学习到的成本函数权重在人类驾驶视角下具有合理性，其中路径保持和驾乘舒适度影响最大，而转向角度影响最小。
• 尽管推理时延较高（CPU上单次推理1.78秒），该框架仍展现出优异性能，是未来实时优化的可行原型。