[論文レビュー] Automated vehicle's behavior decision making using deep reinforcement learning and high-fidelity simulation environment

Yingjun Ye, Xiaohui Zhang+1 more|arXiv (Cornell University)|Apr 17, 2018

Autonomous Vehicle Technology and Safety参考文献 24被引用数 11

ひとこと要約

本稿では、高精度なシミュレーション環境と統合された深層強化学習（DRL）ベースのフレームワークを提案し、車両の追従行動およびレーン変更行動に注力した自動運転車の行動意思決定のための訓練を実施する。報酬関数の最適化により、複雑なドライブ行動の有効な学習が可能となり、インテリジェントドライバー・モデル（IDM）と比較して走行効率が7.9%向上し、複数レーン環境では平均速度が2.4%向上した。

ABSTRACT

Automated vehicles are deemed to be the key element for the intelligent transportation system in the future. Many studies have been made to improve the Automated vehicles' ability of environment recognition and vehicle control, while the attention paid to decision making is not enough though the decision algorithms so far are very preliminary. Therefore, a framework of the decision-making training and learning is put forward in this paper. It consists of two parts: the deep reinforcement learning training program and the high-fidelity virtual simulation environment. Then the basic microscopic behavior, car-following, is trained within this framework. In addition, theoretical analysis and experiments were conducted on setting reward function for accelerating training using deep reinforcement learning. The results show that on the premise of driving comfort, the efficiency of the trained Automated vehicle increases 7.9% compared to the classical traffic model, intelligent driver model. Later on, on a more complex three-lane section, we trained the integrated model combines both car-following and lane-changing behavior, the average speed further grows 2.4%. It indicates that our framework is effective for Automated vehicle's decision-making learning.

研究の動機と目的

• センシングと制御分野の進展にもかかわらず、自動運転車の意思決定分野はまだ未発達であるという問題に対処すること。
• 深層強化学習と高精度なシミュレーションを組み合わせたスケーラブルな訓練フレームワークを構築し、行動意思決定に応用すること。
• 報酬関数設計が訓練効率と走行パフォーマンスに与える影響を調査すること。
• 複雑な交通環境における基本的な追従走行および統合的追従走行／レーン変更行動の両方において、フレームワークを評価すること。

提案手法

• フレームワークは、意思決定ポリシーの学習に深層Qネットワーク（DQN）を用い、高精度な仮想シミュレーション環境で実施する。
• 走行快適性、安全性、効率性のバランスを図る複数の要素を含む報酬関数を設計し、収束を高速化する。
• シミュレーション環境は、正確な車両動態と環境要因との相互作用を再現し、現実の交通ダイナミクスを再現する。
• 最初に単一レーンの追従走行行動の訓練を実施し、その後、3レーン環境における追従走行およびレーン変更行動を統合した状況に拡張する。
• ハイパーパラメータおよびトレーニングのハイパハイューリスティクスを最適化し、学習の安定性とサンプル効率を向上させる。
• フレームワークは、手動で設計されたルールや事前定義された行動モデルに依存せず、エンドツーエンドの行動ポリシー訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、シミュレーション環境において複雑なドライブ意思決定のための自動運転車を効果的に訓練するためにどのように応用可能か？
• RQ2 どの報酬関数設計が、走行快適性と安全性を維持しつつ、訓練の収束を加速するか？
• RQ3 提案されたフレームワークは、インテリジェントドライバー・モデル（IDM）のような古典的モデルと比較して、走行効率をどの程度向上させるか？
• RQ4 訓練されたポリシーは、追従走行とレーン変更行動を併用するより複雑な交通環境に一般化可能か？
• RQ5 高精度なシミュレーションの統合は、学習された意思決定ポリシーのロバスト性と現実性をどの程度向上させるか？

主な発見

• 単一レーンの追従走行シナリオにおいて、DRLベースのポリシーはインテリジェントドライバー・モデル（IDM）と比較して走行効率を7.9%向上させた。
• 最適化された報酬関数は、走行快適性と安全性を維持しながら、訓練収束を著しく高速化した。
• 3レーンのシミュレーション環境では、統合モデルがベースラインモデルと比較して平均速度を2.4%向上させた。
• フレームワークは、明示的なルールベースのプログラミングなしに、追従走行とレーン変更行動の協調的学習に成功した。
• 高精度なシミュレーションにより、現実的なポリシー訓練が可能となり、速度と効率性に関する定量的指標で性能向上が検証された。
• 結果から、複雑な交通環境における自動運転車の意思決定のためのエンドツーエンドDRL訓練の実現可能性と有効性が示された。