[論文レビュー] An End-to-end Deep Reinforcement Learning Approach for the Long-term Short-term Planning on the Frenet Space

Majid Moghadam, Ali Alizadeh+2 more|arXiv (Cornell University)|Nov 26, 2020

Autonomous Vehicle Technology and Safety参考文献 32被引用数 6

ひとこと要約

本論文は、Frenet座標系で直接作動するエンドツーエンドの連続的深層強化学習（DRL）フレームワークを提示し、滑らかで連続的な空間時間的軌道生成を可能にする。Frenet座標系で状態空間と行動空間の両方をモデル化し、過去の軌道に対して時間的畳み込みブランチを用いることで、特に動的かつ混雑な車線変更や密集した交通状況における動きにおいて、離散的DRLおよびルールベースのベースラインと比較して優れた性能を達成する。

ABSTRACT

Tactical decision making and strategic motion planning for autonomous highway driving are challenging due to the complication of predicting other road users' behaviors, diversity of environments, and complexity of the traffic interactions. This paper presents a novel end-to-end continuous deep reinforcement learning approach towards autonomous cars' decision-making and motion planning. For the first time, we define both states and action spaces on the Frenet space to make the driving behavior less variant to the road curvatures than the surrounding actors' dynamics and traffic interactions. The agent receives time-series data of past trajectories of the surrounding vehicles and applies convolutional neural networks along the time channels to extract features in the backbone. The algorithm generates continuous spatiotemporal trajectories on the Frenet frame for the feedback controller to track. Extensive high-fidelity highway simulations on CARLA show the superiority of the presented approach compared with commonly used baselines and discrete reinforcement learning on various traffic scenarios. Furthermore, the proposed method's advantage is confirmed with a more comprehensive performance evaluation against 1000 randomly generated test scenarios.

研究の動機と目的

• 複雑で動的な交通状況下における自律高速道路走行における長期的意思決定と短期的軌道計画の課題に取り組む。
• 従来のDRLおよびルールベース手法における離散的行動空間と固定された軌道生成の限界を克服する。
• 中間の離散化を経ずに、生のセンサ観測から連続的かつ運動学的に妥当な軌道へのエンドツーエンド学習を可能にする。
• Frenet座標系の表現を活用することで、曲率に依存しない行動計画を実現し、密集した交通状況における機動性と適応性を向上させる。
• 高精細なCARLAシミュレーションを用いて、1,000件のランダムに生成された高速道路シナリオにおいて、耐障害性と一般化性能を実証する。

提案手法

• 状態空間をFrenet座標系（s, d, v, a）で表現することで、縦方向と横方向の運動を分離し、道路の曲率への感受性を低減する。
• 時間的畳み込みニューラルネットワーク（TCN）を用いて周囲車両の時系列的軌道を処理し、過去の観測から空間時間的特徴を抽出する。
• 滑らかで多項式ベースの空間時間的軌道（例：5次多項式）をFrenet座標系で生成する連続的行動空間を採用し、フィードバック追従に適する。
• 速度、安全性、快適性のバランスを取る報酬関数を用いて、Proximal Policy Optimization（PPO）を用いてエンドツーエンドDRLエージェントを訓練する。
• 階層的アーキテクチャを統合し、DRLエージェントをハイレベルプランナとして機能させ、離散的ラティスやウェイポイントグリッドに依存せずに直接軌道を出力する。
• 多様な交通シナリオ（密集した交通、合流、高速での車線変更など）を含むCARLAシミュレーションで性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 Frenet座標系でエンドツーエンドの連続的DRLエージェントは、離散的DRLおよびルールベースのベースラインを上回る性能を発揮できるか？
• RQ2 Frenet座標系の表現は、道路の曲率への耐性を向上させるとともに、密集した交通状況における機動性をどのように向上させるか？
• RQ3 連続的行動空間DRLは、行動空間の離散化を回避することで、安全で快適かつ効率的な軌道をどれほど学習できるか？
• RQ4 行動空間の複雑さが変化する1,000件のランダムに生成された高速道路シナリオにおいて、エージェントはどの程度一般化性能を示すか？
• RQ5 軌道計画における連続的DRLと離散的DRLアプローチの間で、計算コストと性能のトレードオフはどのようなものか？

主な発見

• エンドツーエンドの連続的DRLエージェントは、1,000件のテストシナリオにおいて平均スコア69（満点100）を達成し、安全（65）および機敏（52）なルールベースのベースラインを上回った。
• 密集した交通状況下での脱出シナリオにおいて、連続的DRLエージェントは車両間の安全な通過を成功裏に実現したが、離散的エージェントは剛性のあるラティス制約のため失敗し、追従走行に留まった。
• 連続的DRLエージェントは、76％の速度、52％の安全性、78％の快適性を達成し、競合する目的間の優れた妥協を示した。
• 軌道の複雑さに関係なく、一貫した計算コストを維持した。一方、離散的エージェントは、より細かい離散化に伴い性能が低下した。
• Frenetに基づく状態表現により、エージェントは多様な道路の曲率や交通相互作用に対しても性能劣化を示さずに一般化した。
• 合流や車線変更タスクにおいて、特に高速でクリアランスが小さい状況で、離散的エージェントが実行可能な軌道を生成できなかったのに対し、本手法は優れた機動性を示した。