[论文解读] Integrated Decision and Control: Towards Interpretable and Efficient Driving Intelligence.

Yang Guan, Yangang Ren+4 more|arXiv (Cornell University)|Mar 18, 2021

Autonomous Vehicle Technology and Safety参考文献 33被引用 5

一句话总结

本文提出了一种分层的、可解释的且高效的自主驾驶决策与控制框架，通过基于模型的强化学习方法，将多路径规划与最优跟踪解耦。通过为候选路径制定约束最优控制问题，并利用多任务强化学习离线求解，该方法实现了比基线方法更优的计算效率、安全性与交通效率的实时在线路径选择与跟踪。

ABSTRACT

Decision and control are two of the core functionalities of high-level automated vehicles. Current mainstream methods, such as functionality decomposition or end-to-end reinforcement learning (RL), either suffer high time complexity or poor interpretability and limited safety performance in real-world complex autonomous driving tasks. In this paper, we present an interpretable and efficient decision and control framework for automated vehicles, which decomposes the driving task into multi-path planning and optimal tracking that are structured hierarchically. First, the multi-path planning is to generate several paths only considering static constraints. Then, the optimal tracking is designed to track the optimal path while considering the dynamic obstacles. To that end, in theory, we formulate a constrained optimal control problem (OCP) for each candidate path, optimize them separately and choose the one with the best tracking performance to follow. More importantly, we propose a model-based reinforcement learning (RL) algorithm, which is served as an approximate constrained OCP solver, to unload the heavy computation by the paradigm of offline training and online application. Specifically, the OCPs for all paths are considered together to construct a multi-task RL problem and then solved offline by our algorithm into value and policy networks, for real-time online path selecting and tracking respectively. We verify our framework in both simulation and the real world. Results show that our method has better online computing efficiency and driving performance including traffic efficiency and safety compared with baseline methods. In addition, it yields great interpretability and adaptability among different driving tasks. The real road test also suggests that it is applicable in complicated traffic scenarios without even tuning.

研究动机与目标

• 解决现有自动驾驶决策与控制方法的局限性，如计算复杂度高和可解释性差。
• 在动态障碍物与静态约束共存的真实复杂驾驶场景中，提升安全性和交通效率。
• 开发一种框架，实现在多样化驾驶任务中具备高可解释性与适应性的实时决策能力。
• 通过采用多任务强化学习范式，将复杂优化任务移至离线训练阶段，从而减轻在线计算负担。
• 确保在真实部署中无需超参数调优即可保持鲁棒性能。

提出的方法

• 将驾驶任务分解为两个分层阶段：在静态约束下进行多路径规划，以及考虑动态障碍物的最优跟踪。
• 为每个候选路径制定一个约束最优控制问题（OCP），以评估跟踪性能。
• 设计一种基于模型的强化学习算法，作为OCP的近似求解器，实现价值网络与策略网络的离线计算。
• 训练一个多任务强化学习模型，联合优化所有候选路径的OCP，生成共享表征以实现高效的在线推理。
• 使用训练好的策略网络进行实时路径选择，利用价值网络实现在线跟踪控制并具备动态障碍物避让能力。
• 在仿真与真实世界测试中应用该框架，以验证性能与泛化能力，且无需针对特定任务进行调优。

实验结果

研究问题

• RQ1 分层决策与控制框架是否能在复杂自动驾驶场景中提升计算效率与安全性？
• RQ2 将基于模型的强化学习与约束最优控制相结合，如何增强可解释性与实时性能？
• RQ3 单一训练模型在无需重新调参的情况下，能在多大程度上泛化至多样化驾驶任务？
• RQ4 与端到端强化学习及功能分解方法相比，所提方法在交通效率与安全指标上是否表现更优？
• RQ5 该框架是否能在真实环境中保持高性能，且仅需极少领域自适应？

主要发现

• 由于通过多任务强化学习对OCP进行了离线优化，所提框架在在线计算效率方面显著优于基线方法。
• 在仿真与真实世界测试中，该方法在交通效率与安全性表现上均优于端到端强化学习与功能分解基线方法。
• 该框架具有高度可解释性，因为决策基于显式的路径规划与跟踪，且目标函数清晰明确。
• 真实道路测试证实了该方法在复杂交通场景中的鲁棒性与适应性，且无需任何超参数调优。
• 基于模型的强化学习方法有效降低了在线计算负载，同时保持了高跟踪精度与稳定性。
• 该框架在跟踪过程中成功处理了动态障碍物，同时在多样化驾驶任务中保持了安全与高效。