[論文レビュー] Extreme Parkour with Legged Robots

Xuxin Cheng, Kexin Shi+2 more|arXiv (Cornell University)|Sep 25, 2023

Human Pose and Action RecognitionComputer Science被引用数 3

ひとこと要約

本論文は、1台の前面向き深度カメラと1つのニューラルネットワークポリシーのみを用いて、低コストで低精度な脚付きロボットが、高 jump、長 jump、手すり立ち、傾斜ラック走破などの極端なパークール行動を実行できるエンドツーエンド強化学習アプローチを提示する。主な貢献は、ポリシーが生の視覚入力から自らヘディング方向を予測し、正確なモーター制御命令を直接生成できるようにする二重蒸留手法であり、多様で新しい障害物コースに対して強力な一般化性能を達成している。

ABSTRACT

Humans can perform parkour by traversing obstacles in a highly dynamic fashion requiring precise eye-muscle coordination and movement. Getting robots to do the same task requires overcoming similar challenges. Classically, this is done by independently engineering perception, actuation, and control systems to very low tolerances. This restricts them to tightly controlled settings such as a predetermined obstacle course in labs. In contrast, humans are able to learn parkour through practice without significantly changing their underlying biology. In this paper, we take a similar approach to developing robot parkour on a small low-cost robot with imprecise actuation and a single front-facing depth camera for perception which is low-frequency, jittery, and prone to artifacts. We show how a single neural net policy operating directly from a camera image, trained in simulation with large-scale RL, can overcome imprecise sensing and actuation to output highly precise control behavior end-to-end. We show our robot can perform a high jump on obstacles 2x its height, long jump across gaps 2x its length, do a handstand and run across tilted ramps, and generalize to novel obstacle courses with different physical properties. Parkour videos at https://extreme-parkour.github.io/

研究の動機と目的

• 正確なアクチュエータ制御と低品質なセンシングという現実世界の制約下で、脚付きロボットが極端なパークール行動を実行できるようにすること。
• 正確な障害物マップと事前計画を必要とする古典的な手作業で設計された制御パイプラインの限界を乗り越えること。
• タスク固有の計画なしに、ジャンプ、手すり立ち、ラックなど多様なパークールタスクをカバーする1つのニューラルネットワークポリシーを構築すること。
• 外部の方向信号に依存せずに、視覚入力のみで動的行動中にヘディングを自動的に調整できることを実現すること。
• 統一された報酬設計を用いたエンドツーエンド強化学習が、ノイズの多いセンサーやアクチュエータでさえも、自己形成的で高精度な行動を生み出せることを示すこと。

提案手法

• 2段階の強化学習フレームワーク：最初に便宜的なヘディング情報付きでポリシーを学習（第1段階）、次にそれを深度画像から直接ヘディングを予測できるように蒸留（第2段階）。
• ロボットのベース速度と望ましい方向の整合性を促進することで、多様なパークール行動における運動習得を統合的に促進する内積に基づく報酬関数の新規設計。
• 教師ポリシーから生徒ポリシーへのモーター制御命令およびヘディング方向の両方の蒸留により、生の視覚入力からの自律的意思決定を可能にする。
• 大規模な強化学習を用いたシミュレーションにより、ハードル、ギャップ、段差、傾斜ラックを含む多様な障害物コースでポリシーを学習する。
• エッジ付近での危険な足場配置を回避するため、報酬にクリアランスペナルティを組み込むことで安定性を向上。
• 外部の方向信号（すなわち、ヨー方向）を一切使用しないで、プロ prioceptionと視覚フィードバックにのみ依存して手すり立ちポリシーを学習する。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド強化学習により学習された1つのニューラルネットワークポリシーは、正確なアクチュエータ制御と低品質なセンシングを伴う低コストロボットで、極端なパークール行動を実行できるか？
• RQ2 シミュレーションで学習したポリシーは、物理的性質や幾何形状が異なる未観測の障害物コースに一般化できるか？
• RQ3 外部の教師信号なしに、生の深度画像からヘディング方向を自律的に予測でき、長 jump や手すり立ちのような高精度な動きを実現できるか？
• RQ4 内積に基づく統一報酬関数は、タスク固有の報酬や手作業で設計された報酬と比較して、多様なパークール行動の実現にどのように優れているか？
• RQ5 外部の exteroception（例：ヨー方向）を明示的に使用しないで学習したポリシーは、傾斜面での手すり立ちのような動的タスクにおいて、どの程度の強靭性を示せるか？

主な発見

• 提案手法は、すべてのシミュレーテッド地形で平均98％のMXDを達成し、分布シフトにより収束しないNoDirやNoClearといったベースラインを上回った。
• 実世界のテストでは、MXDが0.92 ± 0.19、MEVが0.09 ± 0.33を達成し、完全なヘディング入力を持つオラクルポリシー（0.94 ± 0.19 MXD）に近い性能を示した。
• 特にギャップや傾斜ラックにおいて、最も困難な地形のインスタンスで、ベースラインより20〜80％の高い成功率を達成し、人間が提供する方向信号が失敗する状況でも優れた性能を示した。
• 外部の exteroception を使用しないで学習した手すり立ちポリシーは、階段など多様な地形を歩行に成功し、プロ prioception と視覚フィードバックのみで強力な耐性を示した。
• 二重蒸留手法により、ポリシーは深度画像からヘディング方向を正確に予測でき、ジャンプ中や走行中に経路を動的に調整できるようになった。
• 内積報酬設計により、ロボットの高さの2倍の障害物を飛び越える高 jump や、長さが2倍のギャップを飛び越える長 jump といった自己形成的で高精度な行動が出現した。