[論文レビュー] Automated Lane Change Decision Making using Deep Reinforcement Learning in Dynamic and Uncertain Highway Environment

Ali Alizadeh, Majid Moghadam+4 more|arXiv (Cornell University)|Sep 18, 2019

Autonomous Vehicle Technology and Safety参考文献 19被引用数 5

ひとこと要約

本論文は、ノイズのあるセンサデータと適応的で変動する車両動態を再現する現実的で動的なシミュレーション環境で訓練された、深層強化学習（DRL）エージェントを提案する。DRLエージェントは、ノイズがかかる状況下でもMOBILアルゴリズムに比べて安全性と頑健性に優れ、MOBILが失敗する状況でも衝突ゼロを達成し、より優れた適応性と実世界への適用可能性を示した。

ABSTRACT

Autonomous lane changing is a critical feature for advanced autonomous driving systems, that involves several challenges such as uncertainty in other driver's behaviors and the trade-off between safety and agility. In this work, we develop a novel simulation environment that emulates these challenges and train a deep reinforcement learning agent that yields consistent performance in a variety of dynamic and uncertain traffic scenarios. Results show that the proposed data-driven approach performs significantly better in noisy environments compared to methods that rely solely on heuristics.

研究の動機と目的

• 予測不能な人間運転車両が存在する動的かつ不確実な高速道路交通環境において、安全かつ迅速な車線変更を実現する挑戦に取り組む。
• センサのノイズや観測の不確実性によって性能が著しく低下するルールベース手法（例：MOBIL）の限界を克服する。
• 車両動態、アダプティブクルーズコントロール（IDM）、安全な車線変更論理（MOBIL）を含む、現実的で包括的なシミュレーション環境を構築し、頑健なDRLエージェントの訓練を可能にする。
• 確率的かつ動的な環境でDRLエージェントを訓練することで、現実世界の不確実性に対する一般化性能と頑健性を向上させる。
• DRLエージェントが不確実な環境で訓練された場合、理想的で静的な設定で訓練されたものよりも優れた一般化性能を示すことを実証する。

提案手法

• 車両の全動態を再現するカスタマイズ可能なシミュレーション環境を設計し、縦方向制御にIDM、横方向意思決定にMOBILを統合する。
• 相対的位置と速度の測定不確実性を再現するため、制御されたレベルのセンサノイズ（±5%、±15%）を導入する。
• 周囲の車両の占有グリッドと相対運動学的状態に基づく状態表現を用いて、Deep Q-Network（DQN）を用いてDRLエージェントを訓練する。
• 衝突回避（安全性）、到着予想時間の短縮（進行度）、滑らかな加減速（快適性）のバランスを取る報酬関数を定義する。
• 静的環境（アクターの動態なし）と動的かつ確率的な環境（ノイズあり観測）の両方で訓練された2つのエージェントを訓練する。
• 完全に自律的なアクター（IDMとMOBILを用いて）を用いたベンチマークシナリオを用いて性能を検証し、公平な比較を保証する。

実験結果

リサーチクエスチョン

• RQ1 DRLエージェントが動的かつ不確実な環境で訓練された場合、センサノイズ下でルールベースのMOBILアルゴリズムと比較してどのように性能を発揮するか？
• RQ2 再訓練なしで、DRLエージェントがより高い不確実性（例：±15%ノイズ）に一般化できるか？
• RQ3 現実のアクター行動を再現する動的環境で訓練することで、静的で理想化された環境で訓練した場合と比較して、DRLエージェントの頑健性が向上するか？
• RQ4 不確実性下における安全性（衝突）と効率性（到着までの時間）の観点から、DRLエージェントとMOBILの性能を比較するとどうなるか？
• RQ5 MOBILが失敗する高リスクの交通シナリオにおいて、DRLエージェントはどの程度回復可能か？

主な発見

• 動的かつ中程度のノイズ環境で訓練されたエージェントIは、高レベルのノイズ（±15%）下で、MOBILの正規化平均報酬の120%を達成し、平均報酬は1006±205であったが、すべての衝突を回避した。
• 中程度のノイズ下で100エピソードを実行した結果、DRLエージェントはMOBILと同等の平均報酬を達成したが、衝突はゼロであったのに対し、MOBILは8回の衝突を記録した。
• DRLエージェントは不確実性に対して頑健であることが示された：ノイズ下での性能低下はMOBILほど顕著ではなく、MOBILは著しい性能低下を示した。
• 静的環境で訓練されたエージェントIIは、すべての設定で性能が劣り、特に高ノイズ下ではMOBILの正規化報酬の58%にとどまった。
• シミュレーション環境は、複数のエージェントが独立して車線変更と速度変更を行う複雑で現実的な交通シナリオを効果的に生成でき、DRL訓練に有効であった。
• 確率的かつ動的環境で訓練した結果、理想的で決定論的な設定で訓練した場合に比べ、はるかに優れた現実世界への一般化性能が得られた。