[论文解读] Integrated Decision and Control: Towards Interpretable and Computationally Efficient Driving Intelligence

Yang Guan, Yangang Ren+6 more|arXiv (Cornell University)|Mar 18, 2021

Autonomous Vehicle Technology and Safety参考文献 34被引用 4

一句话总结

本文提出了一种可解释且计算高效的框架——集成决策与控制（IDC），用于自动驾驶车辆。该框架将驾驶任务分层分解为静态路径规划和动态最优跟踪。通过将路径跟踪建模为约束最优控制问题（OCP），并利用基于模型的强化学习算法离线求解，学习价值网络和策略网络，IDC 实现了实时在线路径选择与控制，相比基线方法在计算效率、安全性及交通效率方面均提升了一个数量级。

ABSTRACT

Decision and control are core functionalities of high-level automated vehicles. Current mainstream methods, such as functionality decomposition and end-to-end reinforcement learning (RL), either suffer high time complexity or poor interpretability and adaptability on real-world autonomous driving tasks. In this paper, we present an interpretable and computationally efficient framework called integrated decision and control (IDC) for automated vehicles, which decomposes the driving task into static path planning and dynamic optimal tracking that are structured hierarchically. First, the static path planning generates several candidate paths only considering static traffic elements. Then, the dynamic optimal tracking is designed to track the optimal path while considering the dynamic obstacles. To that end, we formulate a constrained optimal control problem (OCP) for each candidate path, optimize them separately and follow the one with the best tracking performance. To unload the heavy online computation, we propose a model-based reinforcement learning (RL) algorithm that can be served as an approximate constrained OCP solver. Specifically, the OCPs for all paths are considered together to construct a single complete RL problem and then solved offline in the form of value and policy networks, for real-time online path selecting and tracking respectively. We verify our framework in both simulations and the real world. Results show that compared with baseline methods IDC has an order of magnitude higher online computing efficiency, as well as better driving performance including traffic efficiency and safety. In addition, it yields great interpretability and adaptability among different driving tasks. The effectiveness of the proposed method is also demonstrated in real road tests with complicated traffic conditions.

研究动机与目标

• 为解决现有自动驾驶车辆决策与控制方法在计算成本高和可解释性差方面的局限性。
• 开发一种统一框架，实现不同驾驶场景下可解释性、计算效率与适应性的平衡。
• 在保持高安全性与交通效率的前提下，减轻在线计算负担。
• 实现在复杂真实驾驶环境（包括人为干扰与传感器噪声）下的鲁棒实时运行。
• 提供结构化、模块化的系统，支持在不同驾驶任务与场景下的泛化能力。

提出的方法

• 将驾驶任务分层分解为静态路径规划（仅考虑静态障碍物）和动态最优跟踪（考虑动态障碍物与车辆动力学）。
• 针对每个候选路径，构建约束最优控制问题（OCP），以确保在动态约束下实现安全且平滑的跟踪。
• 提出一种基于模型的强化学习（RL）算法，用于离线联合求解所有 OCP，学习近似的价值网络与策略网络作为代理解。
• 在线使用学习到的价值网络与策略网络实现实时路径选择与控制，避免昂贵的在线优化。
• 通过离线训练预计算解决方案，极大降低在线推理时间，同时保持性能。
• 通过将学习到的价值函数与策略函数直接映射到决策与控制逻辑，确保方法的可解释性。

实验结果

研究问题

• RQ1 能否设计一种统一框架，同时实现自动驾驶决策与控制中的高计算效率、可解释性与鲁棒性？
• RQ2 如何高效地离线求解多个候选路径的约束最优控制问题，以支持实时在线路径选择与跟踪？
• RQ3 与传统方法相比，所提出的基于模型的强化学习方法在传感器噪声与人为干扰下能多大程度上保持性能？
• RQ4 该框架在不同驾驶任务与场景中是否具备泛化能力，同时保持安全性和交通效率？
• RQ5 与端到端深度强化学习方法相比，所学习策略与价值函数的可解释性如何？

主要发现

• IDC 框架相比传统规则方法，实现了在线计算效率提升一个数量级，显著降低了实时计算负载。
• 在仿真与真实交叉路口测试中，该方法在交通效率与安全性方面表现出更优的驾驶性能。
• 系统对传感器噪声具有鲁棒性，噪声水平在 0–3 范围内时，状态方差与边界仅出现轻微增加，车辆动力学保持稳定。
• 系统能有效应对方向盘上的突发人为干扰，接管后能快速纠正车辆状态并恢复预定操作。
• 学习到的价值网络与策略网络具有内在可解释性，因其直接对应于路径选择与控制动作，不同于黑箱端到端模型。
• 该框架在不同驾驶任务中表现出强适应性，包括在真实复杂交叉路口中完成复杂左转操作。