[論文レビュー] EnsembleFollower: A Hybrid Car-Following Framework Based On Reinforcement Learning and Hierarchical Planning

Xu Han, Xianda Chen+4 more|arXiv (Cornell University)|Aug 30, 2023

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本論文では、走行状況に応じて複数の低レベルの車両追従モデル（例：IDM、Gipps、FVD、RNN、DDPG）を動的に選択または混合する階層的強化学習フレームワーク、EnsembleFollowerを提案する。これにより、自律走行車両の縦方向制御における精度と耐障害性が向上する。HighDデータセットを用いた評価では、RLベースの意思決定によって相補的な強みを活かすことで、個々のモデルや最先端手法を上回る性能を発揮した。

ABSTRACT

Car-following models have made significant contributions to our understanding of longitudinal driving behavior. However, they often exhibit limited accuracy and flexibility, as they cannot fully capture the complexity inherent in car-following processes, or may falter in unseen scenarios due to their reliance on confined driving skills present in training data. It is worth noting that each car-following model possesses its own strengths and weaknesses depending on specific driving scenarios. Therefore, we propose EnsembleFollower, a hierarchical planning framework for achieving advanced human-like car-following. The EnsembleFollower framework involves a high-level Reinforcement Learning-based agent responsible for judiciously managing multiple low-level car-following models according to the current state, either by selecting an appropriate low-level model to perform an action or by allocating different weights across all low-level components. Moreover, we propose a jerk-constrained kinematic model for more convincing car-following simulations. We evaluate the proposed method based on real-world driving data from the HighD dataset. The experimental results illustrate that EnsembleFollower yields improved accuracy of human-like behavior and achieves effectiveness in combining hybrid models, demonstrating that our proposed framework can handle diverse car-following conditions by leveraging the strengths of various low-level models.

研究の動機と目的

• さまざまな条件下で複雑で多様な走行行動を捉えることが難しい単一の車両追従モデルの限界を解消すること。
• 複数の補完的モデルを統合することで、自律走行車両の縦方向制御における一般化性能と安全性を向上させること。
• 走行状態に応じてリアルタイムで低レベルモデルを知的に選択または混合する階層的フレームワークを構築すること。
• HighDデータセットの実世界走行データを用いて、フレームワークの有効性を検証すること。

提案手法

• 現在の走行状態に基づいて、複数の低レベル車両追従モデルを管理する高レベル強化学習（RL）エージェント（DDQNまたはPPOを用いる）を採用する。
• 2つの協調メカニズムをサポート：離散的モデル選択（DDQNによる）と、出力の凸結合（PPOによる学習済み重み付き結合）。
• シミュレーション中の滑らかで現実的ない用车両運動を保証するため、ジャージャン制約付きの運動学的モデルを統合する。
• 実世界のHighD軌道データに基づくシミュレータとの相互作用を用いて、RLエージェントを訓練する。
• パラメータとハイパーパramータをキャリブレーションしたルールベースモデル（Gipps、IDM、FVD）とデータ駆動型モデル（RNN、DDPG）を低レベルコンponentとして採用する。
• 訓練の安定化とサンプル効率の向上のため、カリキュラム学習と経験再生を適用する。

実験結果

リサーチクエスチョン

• RQ1 階層的強化学習フレームワークは、複数の低レベル車両追従モデルを効果的に統合し、縦方向走行行動の精度を向上させることができるか？
• RQ2 実世界走行データ上で、アンサンブルフレームワークの性能は個々のルールベースおよびデータ駆動型モデルと比べてどのように差がつくか？
• RQ3 単一モデルベースラインと比較して、提案フレームワークは予期しないまたはレアな走行シナリオへの一般化性能が優れているか？
• RQ4 離散的選択と凸結合のどちらの協調戦略が、多様な走行条件下で優れた性能と耐障害性を発揮するか？

主な発見

• EnsembleFollowerは、HighDデータセット上で、個々のルールベースおよびデータ駆動型モデルと比較して、人間らしい車両追従行動を再現する精度が顕著に向上した。
• 凸結合戦略（EF-PPO）は、離散的選択（EF-DDQN）よりも優れた性能を示し、特に複雑で動的な交通シナリオの処理において顕著であった。
• EF-DDQNフレームワークではIDMモデルが最も頻繁に選択されたことから、幅広い条件下で優れたベースラインの頑健性を示していることがわかった。
• Gippsモデルは高速走行および高減速状況で優先的に選択されたことから、安全が最優先となる状況での有効性が裏付けられた。
• FVD や RNN などの少数派モデルは、特殊な状況において顕著な貢献を示し、アンサンブルの一般化能力を強化した。
• モデル使用の注視マップから、リアルタイム走行状態に応じてモデル重みを動的に割り当てることで、安全と効率の両立が有効に実現されていることが示された。