[論文レビュー] Autonomous Ramp Merge Maneuver Based on Reinforcement Learning with Continuous Action Space

Pin Wang, Ching‐Yao Chan|arXiv (Cornell University)|Mar 25, 2018

Traffic control and management参考文献 10被引用数 19

ひとこと要約

本論文は、連続的行動および状態空間を用い、2次関数近似を用いて効率的な方策学習を可能にする強化学習（RL）に基づく自律的ランプ合流システムを提案する。この手法は、動的交通環境において安全で滑らかで適切な合流を実現し、制限付き高速道路を超える複雑な運転操作における連続的行動RLの実用性を示している。

ABSTRACT

Ramp merging is a critical maneuver for road safety and traffic efficiency. Most of the current automated driving systems developed by multiple automobile manufacturers and suppliers are typically limited to restricted access freeways only. Extending the automated mode to ramp merging zones presents substantial challenges. One is that the automated vehicle needs to incorporate a future objective (e.g. a successful and smooth merge) and optimize a long-term reward that is impacted by subsequent actions when executing the current action. Furthermore, the merging process involves interaction between the merging vehicle and its surrounding vehicles whose behavior may be cooperative or adversarial, leading to distinct merging countermeasures that are crucial to successfully complete the merge. In place of the conventional rule-based approaches, we propose to apply reinforcement learning algorithm on the automated vehicle agent to find an optimal driving policy by maximizing the long-term reward in an interactive driving environment. Most importantly, in contrast to most reinforcement learning applications in which the action space is resolved as discrete, our approach treats the action space as well as the state space as continuous without incurring additional computational costs. Our unique contribution is the design of the Q-function approximation whose format is structured as a quadratic function, by which simple but effective neural networks are used to estimate its coefficients. The results obtained through the implementation of our training platform demonstrate that the vehicle agent is able to learn a safe, smooth and timely merging policy, indicating the effectiveness and practicality of our approach.

研究の動機と目的

• 制限付き高速道路を超える自律走行を可能にする自律ランプ合流システムの開発を目的とする。
• 相互作用する車両を伴う動的交通環境における長期的報酬最適化の課題に対処することを目的とする。
• 離散的行動RLの限界を克服し、より滑らかな合流を実現するため、連続的制御行動をモデル化することを目的とする。
• 連続的行動空間における高い計算コストを回避する効率的なQ関数近似の設計を目的とする。

提案手法

• 著者らは、連続的行動および状態空間を用いた深層強化学習を用い、合流車両をエージェントとしてモデル化する。
• Q関数近似の構造として2次関数が用いられ、計算負荷の増加を伴わせることなく効率的な学習が可能になる。
• ニューラルネットワークを用いて2次Q関数の係数を推定し、エンドツーエンドの方策学習を可能にする。
• 環境は、周囲の車両の協調的および敵対的行動を含む現実的な交通相互作用をシミュレートする。
• エージェントは、安全、滑らかさ、適切なタイミングの合流を反映する長期的報酬を最大化するように訓練される。
• 行動の離散化を回避することで、ステアリングや加速などの車両制御入力の自然な連続性が保持される。

実験結果

リサーチクエスチョン

• RQ1 連続的行動強化学習は、動的交通環境において安全で滑らかなランプ合流方策を効果的に学習できるか？
• RQ2 2次Q関数近似は、連続的制御RLにおけるサンプル効率を向上させるとともに、計算コストを低減するか？
• RQ3 行動および状態を離散的ではなく連続的としてモデル化することで、自律合流においてどのようなパフォーマンス向上が達成されるか？
• RQ4 周囲の車両が敵対的または予測不能な行動を示した場合、エージェントはどのように対処するか？
• RQ5 学習済み方策は、交通密度が異なる実世界の合流シナリオにどの程度一般化可能か？

主な発見

• 車両エージェントは、インタラクティブなシミュレーション環境での学習により、安全で滑らかな合流方策を効果的に習得した。
• 連続的行動アプローチにより、離散的行動の代替手法よりもより自然で正確な制御が可能になった。
• 2次Q関数近似により、計算コストを低減しながらも高い学習効率を維持した。
• さまざまな交通状況下でも、安全や快適性を損なわず、適切なタイミングでの合流が達成された。
• 結果は、連続的行動RLが複雑な自律走行タスクにおける実用性と有効性を示していることを裏付けた。