[論文レビュー] A Deep Reinforcement Learning Driving Policy for Autonomous Road Vehicles

Konstantinos Makantasis, Maria Kontorinaki+1 more|arXiv (Cornell University)|May 22, 2019

Traffic control and management被引用数 5

ひとこと要約

本稿では、自律走行車両向けに、二重深層Qネットワーク（DDQN）を用いた深層強化学習（DRL）ベースの走行ポリシーを提案する。このポリシーは、事前的なシステムダイナミクスや環境モデルの知識が不要であり、リアルタイムでモデルフリーの意思決定を可能にし、多様な交通状況に一般化可能である。ベースラインのSUMO設定と比較して、平均速度が高く、より戦略的なレーン変更が可能であるが、衝突回避が保証されていないため2–4%の衝突率を示しており、安全を考慮した低レベル制御レイヤーの導入が不可欠であることを示唆している。

ABSTRACT

This work regards our preliminary investigation on the problem of path planning for autonomous vehicles that move on a freeway. We approach this problem by proposing a driving policy based on Reinforcement Learning. The proposed policy makes minimal or no assumptions about the environment, since no a priori knowledge about the system dynamics is required. We compare the performance of the proposed policy against an optimal policy derived via Dynamic Programming and against manual driving simulated by SUMO traffic simulator.

研究の動機と目的

• システムダイナミクスや環境モデルの事前知識がなくとも、耐障害性がありリアルタイムで動作する自律走行車両の走行ポリシーの開発。
• DRLポリシーの性能を、最適な動的計画法の解と手動走行シミュレーション（SUMO内）と比較して評価すること。
• 異なるドライバー行動を有する複雑で混合交通環境におけるDRLポリシーの一般化性と安定性を調査すること。
• 学習ベースのポリシーの限界、特に衝突回避に関する課題を特定し、安全な導入に向けた道筋を提案すること。

提案手法

• 走行ポリシーは、明示的な環境モデルを必要とせず、生の状態観測から最適な行動を学習する二重深層Qネットワーク（DDQN）を用いて実装されている。
• 状態表現には周囲の車両との相対的位置と速度が含まれており、事前の仮定を必要とせずに交通状況を把握可能である。
• 報酬関数は、縦方向および横方向の加速度を最小化することで乗客の快適性を促進するとともに、前進を促進し、衝突回避を奨励するように設計されている。
• 学習は、3車線の高速道路と混合した手動走行車両・自律走行車両が混在するSUMOベースの交通シミュレーション環境で実施されている。
• 交通密度とドライバーの不完全性（σ = 0.0 および σ = 0.5）を変化させた条件下で、耐障害性を評価している。
• 衝突数、レーン変更回数、平均速度を測定し、SUMOのデフォルト動作と手動走行行動とをベンチマークとして比較評価している。

実験結果

リサーチクエスチョン

• RQ1 DRLベースの走行ポリシーは、車両のダイナミクスや環境モデルの事前知識がなくても、未観測の交通状況に一般化可能か？
• RQ2 DDQNベースのポリシーの性能は、最適な動的計画法と手動走行と比較して、速度、安全性、走行操作の観点でどのように異なるか？
• RQ3 学習ベースのポリシーにおいて、走行効率（速度とレーン変更回数）と安全性（衝突率）のトレードオフはどのようなものか？
• RQ4 ドライバーの不完全性（σ = 0.5）は、実世界に近い交通環境におけるDRLポリシーの安定性と性能にどのように影響を与えるか？

主な発見

• 遅い車両が18 m/sで走行する条件下で、DDQNベースのポリシーは平均速度20.71 m/sを達成し、SUMOデフォルト（20.22 m/s）とSUMO手動（19.48 m/s）を上回った。
• ポリシーは1シナリオあたり平均1.93回のレーン変更を実行し、SUMOデフォルト（0.99回）とSUMO手動（0.0回）を大きく上回り、より戦略的な走行が可能であることを示した。
• 高い速度と走行操作にもかかわらず、理想的な走行条件（σ = 0.0）下でも2%の衝突率を示しており、安全の保証が不十分であることが判明した。
• 不完全な走行条件（σ = 0.5）では、衝突率が3–4%に上昇し、交通のばらつきに対して感受性が高いことが明らかになった。
• ポリシーはさまざまなシナリオに良好に一般化し、異なる速度設定やドライバー行動に対しても一貫した性能を維持した。
• 結果から、DRLポリシーは高い効率性と一般化性能を達成可能であるが、衝突のない運転を保証するには、安全を考慮した低レベル制御機構との統合が不可欠であることが確認された。