[論文レビュー] Learning hierarchical behavior and motion planning for autonomous driving

Jingke Wang, Yue Wang+3 more|arXiv (Cornell University)|May 8, 2020

Reinforcement Learning in Robotics参考文献 34被引用数 7

ひとこと要約

本稿では、サンプリングベースの運動計画法の最適コストを高レベルの行動強化学習（RL）の密集型報酬として統合することで、戦術的意思決定を向上させる、自律走行のための階層的行動および運動計画（HBMP）フレームワークを提案する。行動計画と運動計画を分離し、高速シミュレータ（SUMO）からの模倣学習でRLを初期化することで、効率的な学習と優れた一般化性能を達成し、微調整なしに実世界の走行に成功に転送した。

ABSTRACT

Learning-based driving solution, a new branch for autonomous driving, is expected to simplify the modeling of driving by learning the underlying mechanisms from data. To improve the tactical decision-making for learning-based driving solution, we introduce hierarchical behavior and motion planning (HBMP) to explicitly model the behavior in learning-based solution. Due to the coupled action space of behavior and motion, it is challenging to solve HBMP problem using reinforcement learning (RL) for long-horizon driving tasks. We transform HBMP problem by integrating a classical sampling-based motion planner, of which the optimal cost is regarded as the rewards for high-level behavior learning. As a result, this formulation reduces action space and diversifies the rewards without losing the optimality of HBMP. In addition, we propose a sharable representation for input sensory data across simulation platforms and real-world environment, so that models trained in a fast event-based simulator, SUMO, can be used to initialize and accelerate the RL training in a dynamics based simulator, CARLA. Experimental results demonstrate the effectiveness of the method. Besides, the model is successfully transferred to the real-world, validating the generalization capability.

研究の動機と目的

• 行動計画を階層的コンponentとして明示的にモデル化することで、学習ベースの自律走行における戦術的意思決定を改善すること。
• 長時間にわたる走行タスクにおける結合された行動空間の課題に対処するため、HBMPを高レベルの行動学習問題に再定式化すること。
• 最適運動計画法のコストを密集型で情報豊富な報酬として使用することで、効率的かつ安定したRL訓練を実現すること。
• 高速イベントベースシミュレータ（SUMO）で事前学習した模倣学習ポリシーを用いて初期化することで、RLポリシーの訓練を加速すること。
• シミュレーションと実世界プラットフォーム間で共有可能なセンシング表現を設計することで、実世界環境への一般化を確保すること。

提案手法

• 古典的なサンプリングベースの運動計画法の最適コストから報酬を導出する高レベルの行動学習問題に、HBMP問題を同等に定式化する。
• RRT* などのサンプリングベースの運動計画法を用いて、各行動意思決定における最適軌道コストを計算し、これを高レベル行動ポリシーの報酬信号として使用する。
• SUMOとCARLAの両シミュレータおよび実世界環境で一貫性を持つ変形オクキュパンシー地図表現 $M_t$ を導入し、クロスプラットフォームでのポリシー転送を可能にする。
• 共有される $M_t$ 表現を用いて、SUMOで事前学習した模倣学習ポリシーで初期化した上で、CARLAで深層強化学習（PPO）を用いて行動ポリシーを訓練する。
• 行動計画と運動計画を分離する：高レベルポリシーが行動（例：レーン変更、加速）を選択し、低レベル運動計画法がそれを実行する軌道を生成する。
• ドメインランダマイゼーションとセンサノイズ増幅を適用して、実世界展開時のロバストネスを向上させる。

実験結果

リサーチクエスチョン

• RQ1 最適運動計画法のコストを密集型報酬として統合することで、長時間にわたる自律走行タスクにおける高レベル行動ポリシー学習のサンプル効率と収束性が向上するか？
• RQ2 提案された共有センシング表現 ($M_t$) は、高速イベントベースシミュレータ（SUMO）から高精度な動力学シミュレータ（CARLA）へ、さらには実世界へのポリシー転送をどの程度効果的に可能にするか？
• RQ3 明示的な行動モデリングを欠いたエンドツーエンドの学習ベース手法と比較して、HBMPフレームワークは戦術的意思決定をどの程度改善するか？
• RQ4 訓練済みポリシーは、都市環境の多様な状況（例：Town1 から Town5）に一般化可能であり、再トレーニングなしに動的交通参加者を適切に処理できるか？
• RQ5 共有センシング表現によるドメイン適応に依存するだけで、微調整なしに学習済みポリシーを実世界に展開可能か？

主な発見

• HBMPポリシーは、CARLAベンチマークにおいてTown1で95%、Town2で88%の成功率を達成し、ベースライン手法を著しく上回った。
• Town1からTown5までのクロス環境テストでは、全マップで85%以上の成功率を達成し、強力な一般化能力を示した。
• 実世界車両テストでは、二重線およびカーブ線を含む700mのキャンパスルートを安全に走行し、運転手の介入なしに車線維持と安全な追い越し行動を実行した。
• サイクリストを含む動的状況では、速度低下および加速行動を正しく実行し、急ブレーキなしに複数回の自動レーン変更を実行した。
• シミュレーションから実世界へのポリシー転送は、微調整なしに直接実現され、共有センシング表現 $M_t$ の有効性が裏付けられた。
• CARLAにおけるトレーニングおよびテストの両状況で、運動計画法から得られる密集型報酬のおかげで、より高速かつ安定したRL収束が達成された。