[論文レビュー] Decision-making at Unsignalized Intersection for Autonomous Vehicles: Left-turn Maneuver with Deep Reinforcement Learning

Wang, Feng, Shi, Dongjie+2 more|arXiv (Cornell University)|Aug 14, 2020

Traffic control and management参考文献 30被引用数 15

ひとこと要約

本稿では、四方向の信号のない交差点における安全で効率的な左折行動を実現するため、自律走行車両向けに深層強化学習（DRL）に基づく意思決定フレームワークを提案する。Deep Q-Network（DQN）およびDouble DQNアルゴリズムを用い、シミュレーションを通じて最適な方策を学習することで、複雑な都市環境における衝突率を顕著に低減し、交通効率を向上させた。

ABSTRACT

Decision-making module enables autonomous vehicles to reach appropriate maneuvers in the complex urban environments, especially the intersection situations. This work proposes a deep reinforcement learning (DRL) based left-turn decision-making framework at unsignalized intersection for autonomous vehicles. The objective of the studied automated vehicle is to make an efficient and safe left-turn maneuver at a four-way unsignalized intersection. The exploited DRL methods include deep Q-learning (DQL) and double DQL. Simulation results indicate that the presented decision-making strategy could efficaciously reduce the collision rate and improve transport efficiency. This work also reveals that the constructed left-turn control structure has a great potential to be applied in real-time.

研究の動機と目的

• 信号のない交差点における自律走行車両のリアルタイム意思決定フレームワークの開発。
• 交通信号の欠如下での安全かつ効率的な左折行動の課題に対処。
• 複雑な都市交通シナリオにおける深層強化学習の性能評価。
• 左折作業中の衝突率の低減および交通流れの効率性向上。
• 提案されたDRLベースの制御構造の実時間デプロイメントにおける実現可能性とスケーラビリティの検証。

提案手法

• フレームワークは、状態観測から最適な左折意思決定を学習するため、Deep Q-Network（DQN）およびDouble DQNアルゴリズムを採用。
• 状態特徴量には、エゴ車両に対する周囲車両の相対的位置、速度、距離が含まれる。
• 安全で的確かつ効率的な左折行動を促進するため、密度の高い報酬関数を設計。
• 複数の衝突する交通流を含むシミュレーテッド都市環境でDRLエージェントを訓練。
• 学習の安定化と収束性の向上のため、経験再生とターゲットネットワークを用いる。
• 交通密度を変化させた条件下で制御構造を評価し、耐障害性とスケーラビリティを検証。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、信号のない交差点における安全で効率的な左折意思決定を効果的に学習できるか？
• RQ2 このタスクにおいて、DQNとDouble DQNは収束速度および性能安定性の観点でどのように比較されるか？
• RQ3 提案されたフレームワークは、ベースライン戦略と比較して、どの程度衝突率を低減するか？
• RQ4 交通密度は、DRLベースの意思決定システムの性能および耐障害性にどのように影響するか？
• RQ5 学習された方策は、実時間応用に効果的にデプロイ可能か？

主な発見

• 提案されたDRLフレームワークは、信号のない交差点における左折行動で衝突率を顕著に低減した。
• Double DQNは、学習の安定性および収束速度の観点で、標準DQNを上回った。
• 不要な待機時間を最小限に抑えることで、交通効率が向上した。
• 異なる交通密度においても、学習された方策は良好な一般化性能を示し、耐障害性が確認された。
• 制御構造は、自律走行車両システムにおける実時間デプロイメントの強力な可能性を示した。
• シミュレーション結果から、フレームワークが複雑な交差点シナリオにおける安全性と効率性の両立に効果的に機能することが確認された。