[论文解读] A Fast Integrated Planning and Control Framework for Autonomous Driving via Imitation Learning

Liting Sun, Cheng Peng+2 more|arXiv (Cornell University)|Jul 9, 2017

Advanced Control Systems Optimization被引用 9

一句话总结

该论文提出了一种两层分层框架，结合模仿学习与基于优化的控制，以实现实时、安全且平滑的自动驾驶。策略层中的轻量级神经网络模仿长时域模型预测控制（MPC）以生成高质量轨迹，而短时域优化层则确保实时可行性与安全性，并通过在线DAgger精炼实现性能的迭代提升。

ABSTRACT

For safe and efficient planning and control in autonomous driving, we need a driving policy which can achieve desirable driving quality in long-term horizon with guaranteed safety and feasibility. Optimization-based approaches, such as Model Predictive Control (MPC), can provide such optimal policies, but their computational complexity is generally unacceptable for real-time implementation. To address this problem, we propose a fast integrated planning and control framework that combines learning- and optimization-based approaches in a two-layer hierarchical structure. The first layer, defined as the "policy layer", is established by a neural network which learns the long-term optimal driving policy generated by MPC. The second layer, called the "execution layer", is a short-term optimization-based controller that tracks the reference trajecotries given by the "policy layer" with guaranteed short-term safety and feasibility. Moreover, with efficient and highly-representative features, a small-size neural network is sufficient in the "policy layer" to handle many complicated driving scenarios. This renders online imitation learning with Dataset Aggregation (DAgger) so that the performance of the "policy layer" can be improved rapidly and continuously online. Several exampled driving scenarios are demonstrated to verify the effectiveness and efficiency of the proposed framework.

研究动机与目标

• 解决长时域模型预测控制（MPC）在实时自动驾驶中计算不可行的问题。
• 开发一种快速、安全且平滑的规划与控制框架，在保持长期MPC质量的同时实现实时执行。
• 通过定制化的DAgger程序进行在线模仿学习，持续提升策略保真度。
• 通过引入虚拟特征，实现对复杂场景（如超车、跟车和直行）的泛化能力。

提出的方法

• 采用两层分层架构：策略层使用小型神经网络模仿长期MPC行为，执行层则通过短时域优化实现实时轨迹跟踪。
• 选取高度代表性的特征，使紧凑的神经网络能够在多样化驾驶场景中实现泛化。
• 采用基于采样DAgger的在线模仿学习：在真实场景中测试策略，并由专家MPC标注失败案例，以迭代扩展训练数据集。
• 引入虚拟特征（如虚拟路缘和虚拟相邻车道车辆），以扩展策略在多车道和跟车场景中的适用性。
• 利用聚合数据对策略层进行迭代再训练，以提升保真度并增强对未见情境的鲁棒性。
• 执行层在每个时间步求解一个约束优化问题，以跟踪参考轨迹，同时确保短期安全性和可行性。

实验结果

研究问题

• RQ1 所学习的策略是否能在实现实时执行的同时，模仿MPC的长期最优且安全的驾驶行为？
• RQ2 紧凑的神经网络如何在计算成本极低的前提下，实现对多样化驾驶场景的高性能表现？
• RQ3 基于在线DAgger的精炼是否能显著提升策略在复杂或罕见场景下的鲁棒性与泛化能力？
• RQ4 如何利用虚拟特征在无需显式示范的情况下，将策略的适用性扩展至多车道驾驶和跟车场景？

主要发现

• 所提出的框架通过早期加速与转向，实现平滑、安全且高效的超车操作，避免急刹车与路缘碰撞。
• 与仅使用短时域MPC相比，该框架减少了激进操作（如大转向角和反复停车），显著提升了驾驶质量。
• 定制化的DAgger程序有效提升了策略性能：经过迭代精炼后，策略即使在初始因数据不足而误分类的场景中，也能成功完成直行任务。
• 通过引入虚拟相邻车道车辆和虚拟路缘等虚拟特征，所学习的策略在复杂场景（包括跟车和多车道驾驶）中表现出良好的泛化能力。
• 该框架通过小型神经网络实现实时性能，实现快速推理，同时保持了长时域MPC的安全性与最优性。