[論文レビュー] Behavior Planning For Connected Autonomous Vehicles Using Feedback Deep Reinforcement Learning.

Songyang Han, Fei Miao|arXiv (Cornell University)|Mar 9, 2020

Autonomous Vehicle Technology and Safety参考文献 38被引用数 8

ひとこと要約

本稿では、連結自動運転車（CAV）における行動計画のためのフィードバック深層Q学習手法を提案する。問題を安全、快適性、交通効率のバランスを取るために、ハイブリッド部分的に観測可能なマルコフ意思決定過程（HPOMDP）としてモデル化する。本手法は学習中に安全領域の前向き不変性を保証し、訓練中においても安全を維持しながら、IDMモデルに比べて交通効率と快適性で優れる。

ABSTRACT

With the development of communication technologies, connected autonomous vehicles (CAVs) can share information with each other. We propose a novel behavior planning method for CAVs to decide actions such as whether to change lane or keep lane based on the observation and shared information from neighbors, and to make sure that there exist corresponding control maneuvers such as acceleration and steering angle to guarantee the safety of each individual autonomous vehicle. We formulate this problem as a hybrid partially observable Markov decision process (HPOMDP) to consider objectives such as improving traffic flow efficiency and driving comfort and safety requirements. The discrete state transition is determined by the proposed feedback deep Q-learning algorithm using the feedback action from an underlying controller based on control barrier functions. The feedback deep Q-learning algorithm we design aims to solve the critical challenge of reinforcement learning (RL) in a physical system: guaranteeing the safety of the system while the RL is exploring the action space to increase the reward. We prove that our method renders a forward invariant safe set for the continuous state physical dynamic model of the system while the RL agent is learning. In experiments, our behavior planning method can increase traffic flow and driving comfort compared with the intelligent driving model (IDM). We also validate that our method maintains safety during the learning process.

研究の動機と目的

• 強化学習（RL）の探索段階において物理的自律走行車両システムで安全を確保するという課題に対処すること。
• 周囲の車両情報の共有を活用して協調意思決定を実現する、連結自動運転車（CAV）の行動計画フレームワークを設計すること。
• 自律走行車両運用における交通効率、快適性、安全要件の向上を図ること。
• 制御バリア関数とフィードバック行動統合を用いて、RL訓練中にシステムの安全を形式的に保証すること。
• 提案手法が、IDMなどのベースラインモデルと比較して優れた性能を発揮しながらも、安全を維持していることを実証すること。

提案手法

• 離散的決定（例：レーン変更）と連続的ダイナミクス（例：加速度、ステアリング）を捉えるために、行動計画問題をハイブリッド部分的に観測可能なマルコフ意思決定過程（HPOMDP）として定式化する。
• 制御バリア関数に基づくコントローラーからのフィードバック行動を用いるフィードバック深層Q学習アルゴリズムを導入し、探索中における安全性を確保する。
• RLエージェントの行動と安全な制御操作を結びつけるフィードバック機構を採用し、連続的状態が前向き不変な安全領域内に維持されることを保証する。
• 協調的行動計画を可能にするために、周囲のCAVからの共有情報を観測空間の一部として活用する。
• 交通効率、快適性、安全制約のバランスを取るために報酬関数を設計する。
• 提案されたフィードバック機構の下で、学習プロセスが安全領域の前向き不変性を維持することを数学的に証明する。

実験結果

リサーチクエスチョン

• RQ1 CAVの強化学習ベースの行動プランナは、学習の探索段階において安全を保証できるか？
• RQ2 制御バリア関数に基づくコントローラーからのフィードバック統合は、物理的車両システムにおけるRLの安全性と安定性をどのように向上させるか？
• RQ3 提案手法は、インテリジェントドライブモデル（IDM）と比較して、交通効率と快適性をどの程度向上させるか？
• RQ4 提案手法は、性能を犠牲にすることなく、訓練全期間にわたり安全を維持できるか？
• RQ5 周囲の車両情報の共有は、連結自動運転車間の協調的行動計画をどの程度効果的に向上させるか？

主な発見

• 提案されたフィードバック深層Q学習手法は、連続的状態空間における安全領域の前向き不変性を保証し、RL訓練中の安全性を形式的に保証する。
• 実験的評価により、提案手法はインテリジェントドライブモデル（IDM）に比べて交通効率が向上することが示された。
• 加速度およびステアリングの変動が低減されたことから、提案手法では快適性が向上していることが測定された。
• 実験では、学習プロセス中においても安全違反が観測されず、安全が維持された。
• 周囲の車両情報の統合により、より協調的かつ効率的なレーン変更意思決定が実現された。
• 同じシミュレーション条件下で、提案手法はIDMよりも交通通過量と乗客快適性の両方で優れた性能を発揮した。