[论文解读] EnsembleFollower: A Hybrid Car-Following Framework Based On Reinforcement Learning and Hierarchical Planning

Xu Han, Xianda Chen+4 more|arXiv (Cornell University)|Aug 30, 2023

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本文提出 EnsembleFollower，一种分层强化学习框架，可根据驾驶情境动态选择或融合多个低层次跟驰模型（如 IDM、Gipps、FVD、RNN、DDPG），以提升自动驾驶车辆纵向控制的准确性和鲁棒性。在 HighD 数据集上的评估表明，该方法通过强化学习驱动的决策机制，整合各模型的互补优势，优于单一模型及当前最先进方法。

ABSTRACT

Car-following models have made significant contributions to our understanding of longitudinal driving behavior. However, they often exhibit limited accuracy and flexibility, as they cannot fully capture the complexity inherent in car-following processes, or may falter in unseen scenarios due to their reliance on confined driving skills present in training data. It is worth noting that each car-following model possesses its own strengths and weaknesses depending on specific driving scenarios. Therefore, we propose EnsembleFollower, a hierarchical planning framework for achieving advanced human-like car-following. The EnsembleFollower framework involves a high-level Reinforcement Learning-based agent responsible for judiciously managing multiple low-level car-following models according to the current state, either by selecting an appropriate low-level model to perform an action or by allocating different weights across all low-level components. Moreover, we propose a jerk-constrained kinematic model for more convincing car-following simulations. We evaluate the proposed method based on real-world driving data from the HighD dataset. The experimental results illustrate that EnsembleFollower yields improved accuracy of human-like behavior and achieves effectiveness in combining hybrid models, demonstrating that our proposed framework can handle diverse car-following conditions by leveraging the strengths of various low-level models.

研究动机与目标

• 解决单一跟驰模型在不同驾驶条件下难以捕捉复杂多变驾驶行为的局限性。
• 通过整合多个互补模型，提升自动驾驶车辆纵向控制的泛化能力与安全性。
• 开发一种分层框架，根据实时驾驶状态智能选择或融合低层次模型。
• 基于 HighD 数据集的真实驾驶数据验证该框架的有效性。

提出的方法

• 采用高层强化学习（RL）智能体（使用 DDQN 或 PPO）根据当前驾驶状态管理多个低层次跟驰模型。
• 支持两种协调机制：通过 DDQN 实现的离散模型选择，以及通过 PPO 实现的模型输出凸组合（带学习权重）。
• 集成一种考虑加速度约束的运动学模型，以确保模拟过程中车辆运动的平滑性与真实性。
• 基于真实 HighD 轨迹数据的模拟器与环境交互，训练 RL 智能体。
• 将规则驱动模型（Gipps、IDM、FVD）与数据驱动模型（RNN、DDPG）作为低层次组件，参数与超参数均已校准。
• 采用课程学习与经验回放策略，以稳定训练过程并提升样本效率。

实验结果

研究问题

• RQ1 分层强化学习框架能否有效结合多个低层次跟驰模型，从而提升纵向驾驶行为的准确性？
• RQ2 在真实世界驾驶数据上，该集成框架相较于单一规则驱动与数据驱动模型的性能表现如何？
• RQ3 与单模型基线相比，该框架在未见或罕见驾驶场景下的泛化能力是否更优？
• RQ4 在多样化驾驶条件下，离散选择与凸组合两种协调策略中，哪种能带来更优的性能与鲁棒性？

主要发现

• 与 HighD 数据集上单一规则驱动与数据驱动模型相比，EnsembleFollower 显著提升了对类人跟驰行为的模拟准确性。
• 凸组合策略（EF-PPO）的性能优于离散选择策略（EF-DDQN），尤其在处理复杂动态交通场景时表现更优。
• 在 EF-DDQN 框架中，IDM 模型被最频繁选择，表明其在多种驾驶条件下均具备强大的基线鲁棒性。
• 在高速与高减速度场景中，Gipps 模型被优先调用，体现出其在安全关键情境下的有效性。
• 少数模型如 FVD 与 RNN 在特定场景中贡献显著，增强了集成框架的泛化能力。
• 通过实时驾驶状态动态分配模型权重，框架有效平衡了安全性与效率，注意力热图清晰展示了模型使用模式。