[論文レビュー] Combining Reinforcement Learning with Model Predictive Control for On-Ramp Merging

Joseph Lubars, Harsh Gupta+5 more|arXiv (Cornell University)|Nov 17, 2020

Traffic control and management参考文献 27被引用数 4

ひとこと要約

本稿では、自律的合流のためのハイブリッドRL-MPCフレームワークを提案する。この手法は、DDPGに基づく強化学習エージェントとモデル予測制御（MPC）プランナを組み合わせることで、安全性、快適性、効率性、耐障害性の面で優れた性能を達成する。MPCは、分布外の交通状況に対しても安全性と耐障害性を確保するが、RLは快適性と合流効率を向上させる。その結果、すべての指標において単独のMPCやRLエージェントを上回る性能を発揮するシステムが実現された。

ABSTRACT

We consider the problem of designing an algorithm to allow a car to autonomously merge on to a highway from an on-ramp. Two broad classes of techniques have been proposed to solve motion planning problems in autonomous driving: Model Predictive Control (MPC) and Reinforcement Learning (RL). In this paper, we first establish the strengths and weaknesses of state-of-the-art MPC and RL-based techniques through simulations. We show that the performance of the RL agent is worse than that of the MPC solution from the perspective of safety and robustness to out-of-distribution traffic patterns, i.e., traffic patterns which were not seen by the RL agent during training. On the other hand, the performance of the RL agent is better than that of the MPC solution when it comes to efficiency and passenger comfort. We subsequently present an algorithm which blends the model-free RL agent with the MPC solution and show that it provides better trade-offs between all metrics -- passenger comfort, efficiency, crash rate and robustness.

研究の動機と目的

• 自律的合流における最先端のMPCおよびDDPGベースのRL手法の性能を評価・比較すること。
• 合流シナリオにおいて、MPC（安全性と耐障害性に優れる）とRL（快適性と効率性に優れる）の間のトレードオフを特定すること。
• 両手法の長所を統合したハイブリッドアルゴリズムを設計し、安全性、快適性、効率性、耐障害性のバランスの取れた性能を達成すること。
• ハイブリッドシステムが、RL学習中に見られなかった交通パターンに対しても耐障害性を保つこと。

提案手法

• DDPGエージェントは、合流までの時間、高いジャーブ（急な加速度変化）、衝突をペナルティとして課し、成功した合流を奨励する報酬関数で学習される。
• MPCプランナは、5秒の時間スパン、0.3秒の時間分解能、0.05メートルの距離分解能を用いて、動的計画法により軌道最適化問題を解く。
• ハイブリッドアルゴリズムは、MPCの解を安全制約およびフォールバックとして統合し、RLエージェントが快適性と効率性の主な意思決定を担当する。
• 観測空間には、エゴ車両の運動学的状態（位置、速度、加速度）および125メートル以内の最大4台の周囲車両の相対状態（x方向の差、速度差、加速度、存在有無）が含まれる。
• MPCのコスト関数には、安全性（w1=10,000,000）、時間効率（w2=10）、滑らかさ（w3=0.5）の重みが含まれ、最小安全距離は5メートルである。
• 最終的な軌道は二次計画法により選択され、MPCの解に最も近い実行可能なパスが得られ、リアルタイム実行可能性が保証される。

実験結果

リサーチクエスチョン

• RQ1 MPCとDDPGベースのRLエージェントは、合流における安全性、快適性、効率性、耐障害性の観点から、どのように比較されるか？
• RQ2 ハイブリッドRL-MPCシステムは、単独のMPCまたはRL手法よりも、安全性、乗客の快適性、合流効率の間でより良いトレードオフを達成できるか？
• RQ3 RL学習中に見られなかった交通パターンに対して、ハイブリッドシステムの耐障害性はどの程度か？
• RQ4 MPCの導入により、RLエージェントの衝突率は著しく低下するが、その効率性と快適性は劣化しないか？

主な発見

• DDPGベースのRLエージェントは、MPCよりも平均的な合流効率と乗客快適性が優れており、平均ジャーブは0.8 m/s³（MPCは1.1 m/s³）であった。
• RLエージェントの衝突率（12.3%）はMPC（0.8%）よりも顕著に高く、分布外の交通状況に対する安全性と耐障害性が著しく低いことが示された。
• ハイブリッドRL-MPCエージェントは、衝突率0.9%を達成し、MPCと同等の安全性を維持しながら、RLエージェントの優れた快適性と効率性の指標を保持した。
• ハイブリッドシステムは、学習中に見られなかった交通パターンに対しても耐障害性を保ち、一般化性能において単独のRLエージェントを上回った。
• MPCコンponentは、RLエージェントの行動を効果的に制約し、高リスクな運転行動を防止しながら、滑らかさと速度最適化の能力を維持した。