[論文レビュー] FollowNet: A Comprehensive Benchmark for Car-Following Behavior Modeling

Xianda Chen, Meixin Zhu+6 more|arXiv (Cornell University)|May 25, 2023

Traffic Prediction and Management Techniques参考文献 47被引用数 4

ひとこと要約

FollowNetは、5つの公開データセットから一貫した基準で抽出した80,000件以上のクルマフォロービヘイビアの標準化ベンチマークを初めて導入した。標準化された指標を用いて最先端のモデルを評価した結果、DDPGベースのモデルは、従来のモデル（IDM、GHR）およびニューラルネットワークやLSTMを上回り、間隔のMSEが低く、衝突率もゼロであることが判明した。これは、安全性と正確性の両面で優れていることを示している。

ABSTRACT

Car-following is a control process in which a following vehicle (FV) adjusts its acceleration to keep a safe distance from the lead vehicle (LV). Recently, there has been a booming of data-driven models that enable more accurate modeling of car-following through real-world driving datasets. Although there are several public datasets available, their formats are not always consistent, making it challenging to determine the state-of-the-art models and how well a new model performs compared to existing ones. In contrast, research fields such as image recognition and object detection have benchmark datasets like ImageNet, Microsoft COCO, and KITTI. To address this gap and promote the development of microscopic traffic flow modeling, we establish a public benchmark dataset for car-following behavior modeling. The benchmark consists of more than 80K car-following events extracted from five public driving datasets using the same criteria. These events cover diverse situations including different road types, various weather conditions, and mixed traffic flows with autonomous vehicles. Moreover, to give an overview of current progress in car-following modeling, we implemented and tested representative baseline models with the benchmark. Results show that the deep deterministic policy gradient (DDPG) based model performs competitively with a lower MSE for spacing compared to traditional intelligent driver model (IDM) and Gazis-Herman-Rothery (GHR) models, and a smaller collision rate compared to fully connected neural network (NN) and long short-term memory (LSTM) models in most datasets. The established benchmark will provide researchers with consistent data formats and metrics for cross-comparing different car-following models, promoting the development of more accurate models. We open-source our dataset and implementation code in https://github.com/HKUST-DRIVE-AI-LAB/FollowNet.

研究の動機と目的

• クルマフォローモデリング分野における標準化されたデータフォーマットと評価基準の欠如により、新規モデルの公平な比較が困難であるという問題に対処する。
• 多様な走行シナリオにわたるクルマフォローモデルの一貫した評価と相互比較を可能にする統一されたベンチマークを構築する。
• 自動運転車が含まれる混在交通流を含めるようにモデル開発を強化する。これは、既存のデータセットにおいて自動運転車のデータが不足しているためである。
• 洗練されたデータとコードをオープンアクセスで提供することで、研究の加速と重複したデータ抽出作業の削減を図る。
• 一貫した指標を用いて代表的なベースラインモデルの性能を評価し、今後の研究におけるパフォーマンスの基準を確立する。

提案手法

• NGSIM、HighD、Lyft、Waymo、およびその他の5つの公開ドライブデータセットから、一貫した基準を用いて80,000件を超えるクルマフォローイベントを抽出した。
• すべてのデータセットに対して、データフォーマットと評価指標（特に間隔のMSEと衝突率）を標準化し、モデル間の一貫性ある比較を可能にした。
• パフォーマンスの基準点として、従来モデル（IDM、GHR）とデータ駆動型モデル（全結合NN、LSTM、DDPG）の5つのベースラインモデルを実装した。
• 安全性と性能の向上を図るため、従来モデルを遺伝的アルゴリズム（GA）を用いてキャリブレーションした。
• すべてのデータセットで同じ標準化されたデータ分割を用いて、ディープラーニングモデル（LSTM、NN、DDPG）を訓練および評価した。
• GitHub（https://github.com/HKUST-DRIVE-AI-LAB/FollowNet）を通じて、データセットとコードベースをコミュニティが再利用・拡張可能に公開した。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型モデル（例：DDPG、LSTM、NN）は、従来モデル（IDM、GHR）と比較して、間隔予測の正確性と衝突回避能力においてどのように異なるか？
• RQ2 DDPGのような深層強化学習モデルは、多様な道路種別、天候条件、交通構成にわたってどの程度一般化できるか？
• RQ3 1つのデータセットで訓練したモデルが別のデータセットでテストされた場合の性能差はどの程度で、一般化能力を示しているか？
• RQ4 一貫したデータフォーマットと評価指標を備えた統一されたベンチマークは、クルマフォローモデルの評価における作業量と不整合を顕著に削減できるか？
• RQ5 自動運転車と人間運転車が混在する交通状況では、モデルはどのように性能を発揮するか。安全性と耐性を高めるために、どのような改善が必要か？

主な発見

• DDPGベースのモデル（DDPG_Max）は、ほとんどのデータセットにおいて、従来モデル（IDM、GHR）よりも間隔のMSEが低く、より優れた予測正確性を示した。
• 遺伝的アルゴリズム（GA）を用いてキャリブレーションされた従来モデル（IDM、GHR）は、ゼロの衝突率を達成した。これは、モデル設計における安全性の重要性を強調している。
• 全結合ニューラルネットワーク（NN）やLSTMなどのデータ駆動型モデルは、DDPGや従来モデルと比較して高い衝突率を示した。これは、安全性とのトレードオフが生じていることを示している。
• DDPG_Maxモデルは、IDMやGHRよりも間隔のMSEが低く、かつゼロの衝突率を達成した。これは、従来モデルおよび他のデータ駆動型モデルを上回る包括的なパフォーマンスを示している。
• ベンチマークの結果から、1つのデータセット（例：NGSIM）で訓練したモデルが別のデータセット（例：Lyft）でテストされた場合に顕著な性能差が生じることが判明した。これは、データセット間での一般化能力が限定的であることを示している。
• Lyft や Waymo のようなデータセットに自動運転車が含まれていることは、混在交通流のモデル化にとって不可欠であり、今後のモデル開発にはこうしたデータが不可欠である。