[論文レビュー] Formulation and validation of a car-following model based on deep reinforcement learning

Fabian Hart, Ostap Okhrin+1 more|arXiv (Cornell University)|Sep 29, 2021

Traffic control and management参考文献 33被引用数 20

ひとこと要約

本論文では、合成されたリーダーの軌道（切断されたオルンシュタイン＝ウーレンベック過程から得られる）を用いて、安全、快適、効率性を最大化するカスタマイズ可能な報酬関数で訓練された、深層強化学習（DRL）に基づく車両追従モデルを提案する。本モデルは、無条件のストリング安定性、衝突のない挙動を達成し、実際のリーダーのデータおよび人工的リーダーのデータの両方において、IDMを上回る優れた性能を示す。

ABSTRACT

We propose and validate a novel car following model based on deep reinforcement learning. Our model is trained to maximize externally given reward functions for the free and car-following regimes rather than reproducing existing follower trajectories. The parameters of these reward functions such as desired speed, time gap, or accelerations resemble that of traditional models such as the Intelligent Driver Model (IDM) and allow for explicitly implementing different driving styles. Moreover, they partially lift the black-box nature of conventional neural network models. The model is trained on leading speed profiles governed by a truncated Ornstein-Uhlenbeck process reflecting a realistic leader's kinematics. This allows for arbitrary driving situations and an infinite supply of training data. For various parameterizations of the reward functions, and for a wide variety of artificial and real leader data, the model turned out to be unconditionally string stable, comfortable, and crash-free. String stability has been tested with a platoon of five followers following an artificial and a real leading trajectory. A cross-comparison with the IDM calibrated to the goodness-of-fit of the relative gaps showed a higher reward compared to the traditional model and a better goodness-of-fit.

研究の動機と目的

• 自由走行および安全に重要な状況を含む多様な交通状況に一般化可能な車両追従モデルの開発。
• 既存のDRLモデルの限界（加速度範囲の制限、トレーニングデータを超えた一般化の欠如）を克服すること。
• 極端なブレーキング状況においてもストリング安定性および衝突のない挙動を保証すること。
• 調整可能な報酬関数パラメータを通じて、異なるドライビングスタイルの明示的モデリングを可能にすること。
• 合成データおよび実世界の軌道データ（プラトーングや実際のリーダー・フォロワー実験を含む）の両方で、モデルの妥当性を検証すること。

提案手法

• 自由走行用と車両追従用の2つの別々のポリシーを持つモジュラーDRLフレームワークを採用し、Deep Deterministic Policy Gradient（DDPG）を用いてトレーニングする。
• 安全（衝突までの時間）、快適性（加速度の滑らかさ）、望ましい速度を反映する報酬関数を設計し、異なるドライビングスタイルを再現できるようにパラメータを調整可能にしている。
• リーダー車両の軌道は、現実的な運動特性を再現し、無限に多様なトレーニングデータを可能にするために、切断されたオルンシュタイン＝ウーレンベック過程を用いて生成される。
• モデルは累積報酬を最大化するようにエンド・ツー・エンドでトレーニングされ、ポリシー・ネットワークは状態観測（相対速度、ギャップ、リーダーの速度）を加速度行動にマッピングする。
• ストリング安定性は、5台のフォロワーを含むプラトーングシミュレーションを用いて評価され、人工的および実際のリーダー軌道が使用される。
• 性能は、同じ実際の軌道データに適合させるためにキャリブレーションされたIDMと比較され、適合度および安全性指標がベンチマークとして用いられる。

実験結果

リサーチクエスチョン

• RQ1 DRLベースの車両追従モデルは、自由走行から極端な交通状況（完全ブレーキングを含む）に至るまで、多様な状況においてストリング安定性を達成できるか？
• RQ2 本モデルはトレーニングデータを超えて一般化できるか、特に実際のリーダー軌道を用いたテストにおいてその性能が保たれるか？
• RQ3 同一条件下で、本モデルの安全性、快適性、効率性の性能は、従来のIDMと比較してどの程度優れているか？
• RQ4 本モデルは、自由走行と車両追従の状態遷移を急激な挙動変化なしに滑らかに行えるか？
• RQ5 報酬関数のパラメータを用いて、ドライバー特性（例：攻撃的対防御的）をどの程度明示的にモデリングできるか？

主な発見

• 本モデルは、人工的および実際のリーダー軌道の両方を用いたプラトーングシミュレーションにおいて、無条件のストリング安定性を達成した。加速度の著しい外れ値が発生しても同様に安定した。
• 本モデルは、全テスト状況において衝突のない挙動を示した。リーダーが約6 m/s²で減速する極端なブレーキングイベントでも同様であった。
• RLエージェントは、IDMの2.04 sに対して1.99 sの最小衝突までの時間（TTC）を達成し、分布の大部分でより高いTTC値を示した。
• 15件の実際のリーダー・フォロワー実験の平均で、本モデルはIDMよりも1.9%高い累積報酬を達成し、安全性および快適性の目的に適合していることを示した。
• 本モデルは、自由走行と車両追従状態間で滑らかで快適な遷移を示し、加速度に急激な変化がなかった。
• 本モデルはトレーニングデータを超えて良好に一般化し、トレーニング中に見られなかった実世界の軌道でも安全性および安定性を維持した。