[論文レビュー] Dynamically Feasible Deep Reinforcement Learning Policy for Robot Navigation in Dense Mobile Crowds

Utsav Patel, Nithish Kumar+2 more|arXiv (Cornell University)|Oct 28, 2020

Robotic Locomotion and Control被引用数 8

ひとこと要約

本論文では、動的ウィンドウ法（DWA）と深層強化学習（DRL）を組み合わせたハイブリッドな深層強化学習方策、DWA-RLを提案する。DWA-RLは、密集した移動障害物環境におけるロボットの動的可解で滑らかかつ空間的認識能力を持つ速度を生成することを目的としている。過去nステップの妥当な速度集合と障害物コストを符号化した低次元の観測空間を用い、障害物の運動方向を避けることを促進する新しい報酬関数を採用することで、最先端の手法と比較して衝突率を最大33％、動的制約違反を最大61％まで低減する。

ABSTRACT

We present a novel Deep Reinforcement Learning (DRL) based policy to compute dynamically feasible and spatially aware velocities for a robot navigating among mobile obstacles. Our approach combines the benefits of the Dynamic Window Approach (DWA) in terms of satisfying the robot's dynamics constraints with state-of-the-art DRL-based navigation methods that can handle moving obstacles and pedestrians well. Our formulation achieves these goals by embedding the environmental obstacles' motions in a novel low-dimensional observation space. It also uses a novel reward function to positively reinforce velocities that move the robot away from the obstacle's heading direction leading to significantly lower number of collisions. We evaluate our method in realistic 3-D simulated environments and on a real differential drive robot in challenging dense indoor scenarios with several walking pedestrians. We compare our method with state-of-the-art collision avoidance methods and observe significant improvements in terms of success rate (up to 33\\% increase), number of dynamics constraint violations (up to 61\\% decrease), and smoothness. We also conduct ablation studies to highlight the advantages of our observation space formulation, and reward structure.

研究の動機と目的

• 密集した移動障害物環境におけるロボットの動的可解で滑らかな速度を生成する課題に対処すること。
• 古典的DWAおよび最先端のDRLベースのナビゲーション手法と比較して、動的シーンにおける衝突回避を向上させること。
• 低次元で物理的認識を持つ観測空間を用いることで、訓練時間の短縮とシミュレーションから実世界への転送性の向上を図ること。
• 障害物の進行方向から離れる動きを奨励する報酬関数の設計により、空間的認識能力を強化すること。
• ナビゲーション中にロボットの運動制約（加速度および非ホロノミック制限）が常に満たされることを保証すること。

提案手法

• 本手法は、ロボットの妥当な速度集合と過去nステップにおける障害物・ゴールの整合性コストを組み合わせた、新規の低次元観測空間を採用しており、DWAが保証する動的可解性を維持する。
• 障害物の運動の時間的変化を観測空間に組み込むことで、ポリシーが動的障害物に対してより効果的に予測・反応できるようになる。
• 障害物の進行方向から離れる速度を報酬関数で正の評価するように設計し、空間的認識ナビゲーションを促進する。
• 畳み込みニューラルネットワークを用いて、観測から動的可解な制御入力をマッピングする深層強化学習によりポリシーを訓練する。
• 生成されたすべての速度がロボットの物理的制限（最大/最小線形速度および角速度）内に収まるように保証しており、滑らかで実行可能な軌道を保証する。
• 本手法は高精細な3Dシミュレーションおよび2Dレーザスキャンを用いた実際の差動駆動ロボット上でも評価され、シミュレーションから実世界への転送性が強く確認された。

実験結果

リサーチクエスチョン

• RQ1 DRLベースのポリシーは、密集した移動障害物環境においてロボットの運動制約を満たす動的可解な速度を学習して生成できるか？
• RQ2 RGBや深度画像などの高次元入力と比較して、時間発展する低次元観測空間は、衝突回避性と訓練効率をどのように向上させるか？
• RQ3 障害物の運動方向を避けることを促進する報酬関数は、衝突率をどの程度低減するか？
• RQ4 本手法は、古典的DWAおよび最先端のDRLベースナビゲーション手法と比較して、成功確率、滑らかさ、制約準拠性の観点で優れているか？
• RQ5 本手法は、動的で屋内環境における実世界のロボットナビゲーションに向けたシミュレーションから実世界へのデプロイにおいて、どのように性能を発揮するか？

主な発見

• DWA-RLは、密集した動的環境においてDWAと比較して33％高い成功確率を達成し、衝突を顕著に低減した。
• 最先端のDRL手法と比較して、動的制約違反を最大61％まで低減し、より滑らかで現実的である軌道を保証した。
• 4マトリクス形式の観測空間（障害物コストとゴールコストを別々に符号化）は、3マトリクス形式（コストの合算）を上回り、ジグザグシナリオにおける成功確率を0.82から1.0に向上させた。
• 速度軌道プロットによる確認により、DWA-RLは常にロボットの物理的制限内に速度が収束していることが確認されたが、ベースライン手法では頻繁に制限違反が発生していた。
• 低次元観測空間のおかげで訓練時間が顕著に短縮され、Turtlebot 2におけるシミュレーションから実世界への一般化性能も良好に確認された。
• アブレーションスタディの結果、新規の観測空間と報酬関数の形状化が性能向上に不可欠であることが判明し、両者とも衝突回避性および動的可解性の向上に寄与していた。