[论文解读] DiffStack: A Differentiable and Modular Control Stack for Autonomous Vehicles

Péter Karkus, Boris Ivanovic+2 more|arXiv (Cornell University)|Dec 13, 2022

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

DiffStack 为自动驾驶车辆引入了一种可微分且模块化的控制栈，将学习到的运动预测与可微分模型预测控制（MPC）及规划相结合，实现了决策组件的端到端反向传播。该方法在开环指标下将规划性能提升了最高达15%，并在闭环仿真中降低了车道保持和控制努力成本，表明规划感知的预测可提升下游决策性能，同时不牺牲可解释性。

ABSTRACT

Autonomous vehicle (AV) stacks are typically built in a modular fashion, with explicit components performing detection, tracking, prediction, planning, control, etc. While modularity improves reusability, interpretability, and generalizability, it also suffers from compounding errors, information bottlenecks, and integration challenges. To overcome these challenges, a prominent approach is to convert the AV stack into an end-to-end neural network and train it with data. While such approaches have achieved impressive results, they typically lack interpretability and reusability, and they eschew principled analytical components, such as planning and control, in favor of deep neural networks. To enable the joint optimization of AV stacks while retaining modularity, we present DiffStack, a differentiable and modular stack for prediction, planning, and control. Crucially, our model-based planning and control algorithms leverage recent advancements in differentiable optimization to produce gradients, enabling optimization of upstream components, such as prediction, via backpropagation through planning and control. Our results on the nuScenes dataset indicate that end-to-end training with DiffStack yields substantial improvements in open-loop and closed-loop planning metrics by, e.g., learning to make fewer prediction errors that would affect planning. Beyond these immediate benefits, DiffStack opens up new opportunities for fully data-driven yet modular and interpretable AV architectures. Project website: https://sites.google.com/view/diffstack

研究动机与目标

• 为解决模块化自动驾驶车辆（AV）栈中累积误差和集成挑战，通过联合优化预测、规划和控制来实现。
• 在保留人工设计的规划与控制模块的可解释性与形式化保证的同时，使其具备可微分性，以支持数据驱动训练。
• 证明可微分算法可被组合成在大规模数据集（如 nuScenes）上训练的真实世界自动驾驶车辆栈。
• 通过梯度传播优化下游控制目标，使预测模型具备规划感知能力。
• 为完全数据驱动但模块化且可解释的自动驾驶架构开辟新路径。

提出的方法

• 提出一种模块化自动驾驶车辆栈，包含用于运动预测的神经网络，以及可微分的模型预测控制（MPC）和规划算法。
• 采用可微分优化技术，使MPC控制器和规划器具备可微分性，从而实现从控制损失到预测模块的梯度反向传播。
• 使用可微分规划器生成轨迹候选，以及通过带可微分约束的凸优化计算控制动作的可微分控制器。
• 通过来自最终控制目标的梯度，对预测模块进行端到端训练，使其学习最小化下游规划与控制成本的预测结果。
• 在 nuScenes 数据集上采用闭环仿真设置，评估其在真实驾驶场景下的性能。
• 在规划中使用复合代价函数，包含轨迹代价、碰撞代价、车道保持代价和控制努力代价，所有代价均具备可微分性以支持优化。

实验结果

研究问题

• RQ1 可微分的人工设计规划与控制算法能否在真实世界自动驾驶车辆栈中与学习到的预测模型有效组合？
• RQ2 通过规划与控制的梯度流实现端到端训练，在多大程度上能提升决策的预测质量？
• RQ3 与标准模块化栈相比，可微分栈在闭环规划与控制性能方面表现如何？
• RQ4 当使用下游控制目标进行训练时，预测模块能否学会减少对规划产生负面影响的误差？
• RQ5 可微分栈能否实现既可解释又模块化，同时仍获得数据驱动的性能提升？

主要发现

• 与标准模块化栈相比，DiffStack 通过学习规划感知的预测，将开环规划指标提升了最高达15%。
• 在闭环仿真中，DiffStack 的轨迹代价为 4.37×10⁻²，而标准栈为 0.87×10⁻²，表明其整体规划性能更优。
• 与标准栈相比，DiffStack 的车道保持代价（4.84×10⁻²）和控制努力代价（0.99×10⁻²）更低，分别对应标准栈的 8.91×10⁻² 和 0.18×10⁻²，表明其驾驶更平稳、更稳定。
• 标准栈在闭环评估中的表现劣于开环评估，表明集成误差和预测质量差会显著降低动态环境中的性能。
• DiffStack 能够补偿人为引入的集成误差，并通过调优代价函数，使规划结果更接近人类驾驶行为。
• 结果表明，可微分栈可在保持模块化、可解释性和可验证性的同时，联合优化预测、规划与控制。