[论文解读] FollowNet: A Comprehensive Benchmark for Car-Following Behavior Modeling

Xianda Chen, Meixin Zhu+6 more|arXiv (Cornell University)|May 25, 2023

Traffic Prediction and Management Techniques参考文献 47被引用 4

一句话总结

FollowNet 首次为跟驰行为建模引入了标准化基准，通过一致的标准从五个公开数据集提取了超过 80,000 个事件。该基准采用标准化指标评估最先进模型，结果显示基于 DDPG 的模型在间距均方误差方面优于传统模型（IDM、GHR），且碰撞率为零，其安全性与准确性均超越神经网络和 LSTMs 模型。

ABSTRACT

Car-following is a control process in which a following vehicle (FV) adjusts its acceleration to keep a safe distance from the lead vehicle (LV). Recently, there has been a booming of data-driven models that enable more accurate modeling of car-following through real-world driving datasets. Although there are several public datasets available, their formats are not always consistent, making it challenging to determine the state-of-the-art models and how well a new model performs compared to existing ones. In contrast, research fields such as image recognition and object detection have benchmark datasets like ImageNet, Microsoft COCO, and KITTI. To address this gap and promote the development of microscopic traffic flow modeling, we establish a public benchmark dataset for car-following behavior modeling. The benchmark consists of more than 80K car-following events extracted from five public driving datasets using the same criteria. These events cover diverse situations including different road types, various weather conditions, and mixed traffic flows with autonomous vehicles. Moreover, to give an overview of current progress in car-following modeling, we implemented and tested representative baseline models with the benchmark. Results show that the deep deterministic policy gradient (DDPG) based model performs competitively with a lower MSE for spacing compared to traditional intelligent driver model (IDM) and Gazis-Herman-Rothery (GHR) models, and a smaller collision rate compared to fully connected neural network (NN) and long short-term memory (LSTM) models in most datasets. The established benchmark will provide researchers with consistent data formats and metrics for cross-comparing different car-following models, promoting the development of more accurate models. We open-source our dataset and implementation code in https://github.com/HKUST-DRIVE-AI-LAB/FollowNet.

研究动机与目标

• 解决跟驰研究中缺乏标准化数据格式与评估标准的问题，以促进新模型的公平比较。
• 构建统一基准，实现在多样化驾驶场景下对跟驰模型的一致性评估与交叉比较。
• 通过纳入自动驾驶车辆参与的混合交通流，提升模型开发质量，弥补现有数据集中此类场景的不足。
• 提供经整理的数据与代码的开放访问，以加速研究进程并减少重复的数据提取工作。
• 采用一致指标评估代表性基线模型的性能，为未来研究建立性能基线。

提出的方法

• 从五个公开驾驶数据集（NGSIM、HighD、Lyft、Waymo 及其他）中，使用统一标准提取了超过 80,000 个跟驰事件。
• 在所有数据集中统一标准化数据格式与评估指标，特别是间距的均方误差（MSE）与碰撞率，以实现模型间的一致比较。
• 实现五种基线模型：传统模型（IDM、GHR）与数据驱动模型（全连接神经网络、LSTM、DDPG），作为性能参考基准。
• 利用遗传算法（GA）校准传统模型，以优化参数，提升安全性和性能。
• 在所有数据集的相同标准化数据划分上，训练并评估深度学习模型（LSTM、NN、DDPG）。
• 通过 GitHub（https://github.com/HKUST-DRIVE-AI-LAB/FollowNet）发布数据集与代码库，供社区复用与扩展。

实验结果

研究问题

• RQ1 在间距预测准确率与碰撞规避方面，数据驱动模型（如 DDPG、LSTM、NN）与传统模型（IDM、GHR）相比表现如何？
• RQ2 像 DDPG 这类深度强化学习模型在多样化道路类型、天气条件与交通构成下的泛化能力如何？
• RQ3 在某一数据集上训练的模型在另一数据集上测试时，性能差距有多大，反映出其泛化能力如何？
• RQ4 统一基准是否能显著减少跟驰模型评估中的工作量与不一致性？
• RQ5 在包含自动驾驶车辆与人类驾驶车辆的混合交通场景中，模型表现如何？未来在安全性和鲁棒性方面还需哪些改进？

主要发现

• 基于 DDPG 的模型（DDPG_Max）在大多数数据集上均表现出低于传统模型（IDM 与 GHR）的间距均方误差（MSE），表明其预测准确率更优。
• 经遗传算法（GA）校准的传统模型（IDM、GHR）实现了零碰撞率，凸显了安全性在模型设计中的重要性。
• 数据驱动模型（如全连接神经网络 NN 与 LSTMs）的碰撞率高于 DDPG 与传统模型，表明存在安全性的权衡。
• DDPG_Max 模型在间距 MSE 方面优于 IDM 与 GHR，且碰撞率为零，综合性能超越了传统模型及其他数据驱动模型。
• 该基准揭示了当在某一数据集（如 NGSIM）上训练的模型在另一数据集（如 Lyft）上测试时，存在显著的性能差异，表明模型在数据集间泛化能力有限。
• 在 Lyft 与 Waymo 等数据集中包含自动驾驶车辆对建模混合交通流至关重要，此类数据对未来的模型开发不可或缺。