[論文レビュー] Human-Like Autonomous Car-Following Model with Deep Reinforcement Learning

Meixin Zhu, Xuesong Wang+1 more|arXiv (Cornell University)|Jan 3, 2019

Traffic control and management参考文献 39被引用数 27

ひとこと要約

本論文では、深層強化学習（DRL）を用いて、速度および間隔の乖離に基づく報酬関数を通じて実際のドライビングデータから学習する人間らしい自律車両追従モデルを提案する。DDPGvRTモデルは、18%の間隔誤差と5%の速度誤差を達成し、従来のモデルおよびデータ駆動型モデルを上回る優れた精度を発揮し、ドライビングシナリオにわたる一般化性能に優れ、継続的学習により異なるドライバーに適応可能である。

ABSTRACT

This study proposes a framework for human-like autonomous car-following planning based on deep reinforcement learning (deep RL). Historical driving data are fed into a simulation environment where an RL agent learns from trial and error interactions based on a reward function that signals how much the agent deviates from the empirical data. Through these interactions, an optimal policy, or car-following model that maps in a human-like way from speed, relative speed between a lead and following vehicle, and inter-vehicle spacing to acceleration of a following vehicle is finally obtained. The model can be continuously updated when more data are fed in. Two thousand car-following periods extracted from the 2015 Shanghai Naturalistic Driving Study were used to train the model and compare its performance with that of traditional and recent data-driven car-following models. As shown by this study results, a deep deterministic policy gradient car-following model that uses disparity between simulated and observed speed as the reward function and considers a reaction delay of 1s, denoted as DDPGvRT, can reproduce human-like car-following behavior with higher accuracy than traditional and recent data-driven car-following models. Specifically, the DDPGvRT model has a spacing validation error of 18% and speed validation error of 5%, which are less than those of other models, including the intelligent driver model, models based on locally weighted regression, and conventional neural network-based models. Moreover, the DDPGvRT demonstrates good capability of generalization to various driving situations and can adapt to different drivers by continuously learning. This study demonstrates that reinforcement learning methodology can offer insight into driver behavior and can contribute to the development of human-like autonomous driving algorithms and traffic-flow models.

研究の動機と目的

• 実際のドライバー行動を再現する人間らしい自律車両追従モデルを、深層強化学習を用いて開発すること。
• 自然的ドライビングデータから学習することで、従来のモデルおよび最近のデータ駆動型車両追従モデルを改善すること。
• 段階的学習を通じて、新しいドライバーおよびドライビング状況に継続的に適応できるモデルの構築。
• 実世界のドライビングデータを用いて、標準的なベンチマークと比較してモデルの性能を検証すること。
• 知的輸送システムにおける複雑なドライバー行動のモデリングに、強化学習の可能性を検討すること。

提案手法

• エージェントが車両状態（速度、相対速度、車両間隔）を加速度行動にマッピングできるように、深層決定的方策勾配（DDPG）アルゴリズムを用いて学習を実施する。
• 報酬関数は、シミュレートされた速度と観測された速度の差異の負の値として定義され、エージェントが実際の人間のドライビングパターンを模倣するよう促進する。
• 環境に1秒の反応遅延を明示的にモデル化し、現実的な人間の反応時間を反映する。
• 学習環境は、2015年上海自然的ドライビング研究から得た2,000件の車両追従期間を基に構築される。
• 新しいデータが入力されるたびにモデルが継続的に更新され、新しいドライビング行動にオンラインで適応可能となる。
• ベースラインモデルとの比較において、間隔および速度の検証誤差を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、実世界のドライビングデータから人間らしい車両追従行動を効果的に学習できるか？
• RQ2 DDPGvRTモデルは、インテリジェントドライバー・モデル（IDM）や回帰またはニューラルネットワークに基づくデータ駆動型モデルと比較して、どの程度の精度を発揮するか？
• RQ3 DDPGvRTモデルは、多様なドライビングシナリオにどの程度一般化可能であり、異なるドライバーにどの程度適応可能か？
• RQ4 1秒の反応遅延を統合することで、学習された方策の現実性と性能はどのように向上するか？
• RQ5 新しいデータを段階的に更新することで、モデルは時間の経過とともに関連性と正確性を維持できるか？

主な発見

• DDPGvRTモデルは18%の間隔検証誤差を達成し、他のモデルと比較して顕著に低く、人間の間隔行動を再現する高精度性を示している。
• モデルは5%の速度検証誤差を記録し、実際のドライバーの速度調整を模倣する優れた正確性を示している。
• インテリジェントドライバー・モデル（IDM）および局所加重回帰モデルと比較して、DDPGvRTはすべての評価指標で一貫した性能向上を示している。
• 再トレーニングなしで未観測のドライビングシナリオに対しても、モデルは良好な一般化性能を維持し、安定した性能を発揮している。
• 継続的学習を通じて、異なるドライバーに効果的に適応可能であり、強力なパーソナライゼーションの可能性を示している。
• 学習環境に1秒の反応遅延を統合することで、学習された方策の現実性と性能が向上している。