[論文レビュー] Resilient Legged Local Navigation: Learning to Traverse with Compromised Perception End-to-End

Jin Jin, Chong Zhang+5 more|arXiv (Cornell University)|Oct 5, 2023

Robotic Locomotion and Control被引用数 1

ひとこと要約

本論文は、見えない障害物や穴といった、知覚が損なわれる状況下でも耐障害性のある局所ナビゲーションを可能にする、脚部ロボット向けのエンドツーエンド強化学習（RL）ポリシーを提案する。歩行システムからの本体感覚および外部感覚フィードバックをナビゲーションポリシーに統合することで、ヒューリスティックな異常検出に依存せずに、衝突やステップを逃すなどの知覚障害を検出し、対処する能力を学習する。知覚障害状況下では、古典的プランナーよりも30%高い成功率を達成した。

ABSTRACT

Autonomous robots must navigate reliably in unknown environments even under compromised exteroceptive perception, or perception failures. Such failures often occur when harsh environments lead to degraded sensing, or when the perception algorithm misinterprets the scene due to limited generalization. In this paper, we model perception failures as invisible obstacles and pits, and train a reinforcement learning (RL) based local navigation policy to guide our legged robot. Unlike previous works relying on heuristics and anomaly detection to update navigational information, we train our navigation policy to reconstruct the environment information in the latent space from corrupted perception and react to perception failures end-to-end. To this end, we incorporate both proprioception and exteroception into our policy inputs, thereby enabling the policy to sense collisions on different body parts and pits, prompting corresponding reactions. We validate our approach in simulation and on the real quadruped robot ANYmal running in real-time (<10 ms CPU inference). In a quantitative comparison with existing heuristic-based locally reactive planners, our policy increases the success rate over 30% when facing perception failures. Project Page: https://bit.ly/45NBTuh.

研究の動機と目的

• 外部知覚が障害された場合、例えば見えない障害物や穴がある状況でも、ナビゲーションポリシーが耐障害性を保つこと。
• 知覚障害の回復にヒューリスティックベースの異常検出や再プランニングに依存しないこと。
• 歩行中のロボット本体からの物理的フィードバックに応じて、リアルタイムでエンドツーエンドのナビゲーション戦略を学習できること。
• ANYmal四足歩行ロボットを用いたシミュレーションおよび実世界でのデプロイメントにおいて、本手法を検証すること。
• 脚部ロボットが完全に障害物に見えない状況下でも、本体フィードバックのみで成功裏にナビゲートできることを示すこと。

提案手法

• 腐った外部知覚と本体感覚フィードバックを入力として受け取り、速度指令を生成する非対称アクタ・クリティック深層RLポリシーを訓練する。
• 歩行レベルの外部知覚（例：足の接触力）と本体感覚（例：関節角度、ベースのIMU）を、衝突やステップの逃げを検出するための主要観測値として統合する。
• 部分的または損なわれたセンサ入力からの環境状態推定を可能にするメモリ拡張型アクターを採用し、知覚障害に対する耐障害性を向上させる。
• 特権情報（例：完全な地図、外部力）へのアクセスを持つクリティックを用いて、学習をガイドし、安定化させる。
• 制御可能な知覚障害率（例：0%、50%、100%の障害物／穴の可視性）を備えたカスタムシミュレーション環境を設計し、ポリシーの訓練と評価に用いる。
• 潜在空間における真の環境状態の暗黙的推定を促進する正則化を適用し、最適でないポリシー収束を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 知覚が障害された状況（例：障害物や穴が見えない状態）下でも、エンドツーエンドRLポリシーが効果的にナビゲートを学習できるか？
• RQ2 歩行システムからの本体感覚と外部知覚は、知覚障害の検出と回復にどのように寄与するか？
• RQ3 記憶と潜在状態推定を組み込むことで、ベースライン手法と比較して知覚劣化に対する耐障害性が向上するか？
• RQ4 完全に視認不能な状況下でも、ポリシーが実世界のナビゲーションに一般化可能か？
• RQ5 知覚腐敗の度合いが異なる状況下で、ヒューリスティックベースのプランナーよりもポリシーが定量的に優れているか？

主な発見

• 提案されたRLポリシーは、知覚障害状況下で古典的ヒューリスティックベースプランナーよりも30%以上高い成功率を達成し、0%可視性の穴ナビゲーションでは93.0%の成功率を記録した。
• 50%可視性の障害物シナリオでは、ポリシーは92.0%の成功率を達成したのに対し、ベースラインプランナーは54.0%であり、p値 < 0.001であった。
• 本体感覚のみで耐障害性が向上し、0%可視性の障害物シナリオでベース衝突回数が48.3回から4.6回に減少した。
• 歩行レベルの外部知覚は穴検出に顕著に寄与し、0%可視性の穴シナリオで平均コスト時間は22.5秒から12.3秒に短縮された。
• 暗黙的状態推定のための正則化は不可欠であり、これを導入しないと、特に知覚腐敗度が高い状況で性能が著しく低下した。
• ポリシーは完全に視認不能な実世界環境でも正常にナビゲートでき、ベース、大腿部、脚部の衝突に反応し、横方向速度指令を用いて見えない穴からの回復を実現した。