[論文レビュー] Lane Change Decision-Making through Deep Reinforcement Learning

Mukesh Ghimire, Malobika Roy Choudhury+1 more|arXiv (Cornell University)|Dec 24, 2021

Autonomous Vehicle Technology and Safety被引用数 4

ひとこと要約

本論文は、動的交通状況における自律的レーン変更意思決定のためのルールベースのディープQネットワーク（DQN）を提案する。深層強化学習と安全制約を組み合わせることで、不要なレーン変更を低減し、衝突回避を向上させ、0.8の安全率と47 MPHの平均速度を達成した。標準DQNに比べて優れた性能を発揮した。

ABSTRACT

Due to the complexity and volatility of the traffic environment, decision-making in autonomous driving is a significantly hard problem. In this project, we use a Deep Q-Network, along with rule-based constraints to make lane-changing decision. A safe and efficient lane change behavior may be obtained by combining high-level lateral decision-making with low-level rule-based trajectory monitoring. The agent is anticipated to perform appropriate lane-change maneuvers in a real-world-like udacity simulator after training it for a total of 100 episodes. The results shows that the rule-based DQN performs better than the DQN method. The rule-based DQN achieves a safety rate of 0.8 and average speed of 47 MPH

研究の動機と目的

• 複雑で動的な交通状況下における自律走行車両の耐障害性の高いレーン変更意思決定システムの開発を目的とする。
• ルールベースの制約を深層Q学習と統合することで、レーン変更の安全性と効率性を向上させることを目的とする。
• シミュレーテッド環境において、先行研究のDQNベースのレーン変更に関する結果を再現・検証することを目的とする。
• ルールベースの制約がDQNの性能に与える影響を、安全性、速度、レーン変更頻度の観点から評価することを目的とする。

提案手法

• 本手法は、最適なレーン変更ポリシーを学習するために強化学習で訓練されたディープQネットワーク（DQN）を用いる。
• 安全を確保するため、周囲の車両との最小距離を維持し、衝突を回避するなどのルールベースの制約を統合する。
• 状態空間には、車両の速度、周囲の車両の相対的位置、レーン情報が含まれ、1次元ベクトルとして表現される。
• 行動空間は、左レーンに変更、右レーンに変更、現在のレーンを維持する、という離散的選択から構成される。
• 安全で効率的な走行を促進するための報酬関数が設計されており、衝突にはペナルティを与え、レーン中央への近接性と一定の速度維持には報酬が与えられる。
• 訓練はUdacity自律走行車シミュレーターを用いて100エピソードで実施され、評価は10のテストエピソードで行われた。

実験結果

リサーチクエスチョン

• RQ1 ルールベースの安全制約を統合することで、DQNエージェントの自律的レーン変更意思決定における性能はどのように向上するか？
• RQ2 ルールベースの制約は、レーン変更頻度と総合的な安全率にどのような影響を与えるか？
• RQ3 ルールベースDQNは、標準DQNと比較して、平均速度、安全率、レーン変更回数の観点でどのように異なるか？
• RQ4 エージェントは、実世界に類似した交通状況においても、安全性と効率性を維持しながら一般化できるか？

主な発見

• ルールベースDQNは0.8の安全率を達成したのに対し、標準DQNは0.2の安全率にとどまり、顕著な優位性を示した。
• ルールベースDQNは1エピソードあたりの平均レーン変更回数を8.80回にまで低減したのに対し、標準DQNは36.20回であった。これは、より選択的で効率的な行動を示している。
• ルールベースDQNは平均速度47 MPHを維持したが、標準DQNは46 MPHであった。
• 訓練中、1エピソードあたりのレーン変更頻度は平均64.1回からテストでは10.0回に減少し、エージェントが必要最小限のレーン変更のみを実行するよう学習したことが示された。
• 初期の訓練段階では探索による不規則な行動が観察されたが、時間の経過とともに安定化し、効果的なポリシー学習が行われたことが確認された。
• 研究では、微小な衝突が連鎖的事故を引き起こす可能性があることが観察され、このような事象に対してより強くペナルティを与える報酬形状の洗練が求められることが示された。