[論文レビュー] Sim-to-Real Strategy for Spatially Aware Robot Navigation in Uneven Outdoor Environments

Kasun Weerakoon, Adarsh Jagan Sathyamoorthy+1 more|arXiv (Cornell University)|May 18, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、事前学習済みDRLポリシーから得られる中間的注意特徴を活用してナビゲーションコストマップを生成することで、不整地な屋外環境における安定したロボットナビゲーションのためのシミュレーションから実世界への移行戦略を提案する。この手法は、IMUおよび標高勾配に基づく適応的スピード制約とDWAを組み合わせ、実世界の屋外環境において振動を13.09%低減し、平均速度を19.33%削減しながら、エンドツーエンドDRLよりも成功率を5%向上させた。

ABSTRACT

Deep Reinforcement Learning (DRL) is hugely successful due to the availability of realistic simulated environments. However, performance degradation during simulation to real-world transfer still remains a challenging problem for the policies trained in simulated environments. To close this sim-to-real gap, we present a novel hybrid architecture that utilizes an intermediate output from a fully trained attention DRL policy as a navigation cost map for outdoor navigation. Our attention DRL network incorporates a robot-centric elevation map, IMU data, the robot's pose, previous actions, and goal information as inputs to compute a navigation cost-map that highlights non-traversable regions. We compute least-cost waypoints on the cost map and utilize the Dynamic Window Approach (DWA) with velocity constraints on high cost regions to follow the waypoints in highly uneven outdoor environments. Our formulation generates dynamically feasible velocities along stable, traversable regions to reach the robot's goals. We observe an increase of 5% in terms of success rate, 13.09% of the decrease in average robot vibration, and a 19.33% reduction in average velocity compared to end-to-end DRL method and state-of-the-art methods in complex outdoor environments. We evaluate the benefits of our method using a Clearpath Husky robot in both simulated and real-world uneven environments.

研究の動機と目的

• 複雑で不整な屋外環境におけるロボットナビゲーションのための深層強化学習におけるシミュレーションから実世界へのギャップを解消すること。
• 崖や岩など、粗い傾斜地を走行する際のロボットの安定性を向上させ、振動を低減すること。
• 認識と制御を分離することで、シミュレーションおよび実世界の両環境で一貫した性能を実現すること。
• 中間DRL特徴を用いて地形に適応したコストマップを生成し、スピード制約付きの軌道計画を実行するハイブリッドアーキテクチャを開発すること。
• ヒューリスティックまたは人手による地形特徴の依存を最小限に抑え、生のセンサ入力（点群、IMU、ポーズ、目的位置）から学習すること。

提案手法

• 新規の注意特徴ベースのDRLネットワークが、ロボット中心の標高マップ、IMUデータ、ロボットポーズ、過去の行動、目的位置情報を処理し、通過不能な領域を強調するナビゲーションコストマップを生成する。
• コストマップを用いて最小コストのウェイポイントを計算し、標高勾配が最小限となる安定した通過可能な経路に沿ってロボットを誘導する。
• 動的ウィンドウアプローチ（DWA）は、リアルタイムの振動および姿勢フィードバックに基づき、急勾配または粗い地形での高速走行をペナルティ化する速度空間制約を強化する。
• DRL学習中にIMUおよび標高勾配に基づく報酬を用い、不安定な領域を特定し、安全なナビゲーション行動を促進する。
• 認識（DRLによる）と制御（DWAによる）を分離することで、シミュレーションから実世界への展開性を実現する。
• 3次元点群を2次元ロボット中心の標高マップに変換して入力とすることで、非構造的屋外環境における空間認識を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みDRLポリシーの中間特徴は、屋外ロボットナビゲーションにおけるシミュレーションから実世界への転送を改善できるか？
• RQ2 不整地での振動低減および転倒防止を目的とした、速度制約を動的に適応させる方法は何か？
• RQ3 DRLベースの認識とDWAベースの制御を組み合わせたハイブリッドアーキテクチャは、実世界の屋外ナビゲーションにおいてエンドツーエンドDRLを上回る性能を発揮するか？
• RQ4 地形に適応したスピード制御は、複雑な屋外環境における安定性と成功率をどの程度向上させるか？
• RQ5 本手法は、特に急勾配や粗い表面において、シミュレーションと実世界の両環境で同等の性能を維持できるか？

主な発見

• 提案手法は、実世界の屋外シナリオにおいてエンドツーエンドDRLに比べ5%高い成功率を達成し、シナリオ2では89%、シナリオ3では78%の成功率を記録した。
• 実世界のシナリオ3において、エンドツーエンドDRLと比較して平均的なロボットの振動が13.09%低減され、全手法中最も低い平均振動値（0.079）を記録した。
• 実世界のシナリオ3において、エンドツーエンドDRLと比較して平均ナビゲーション速度が19.33%低減され、0.357 m/sを達成した。これは、より安全で制御された運動を示している。
• 本手法は、シミュレーションおよび実世界の両環境で高い性能を維持したのに対し、エンドツーエンドDRLは実世界への転送で顕著な性能低下を示した。
• 適応的スピード制約のおかげで、特に急勾配において、本手法が生成する軌道はより安定しており、振動や不安定性の発生が少ない。
• 本手法は、DWAやTERPと比較して、経路長を犠牲にしても安定性と振動低減を最優先するため、より長く安全な軌道を生成した。