[論文レビュー] Learning Semantics-Aware Locomotion Skills from Human Demonstration

Yuxiang Yang, Xiangyun Meng+4 more|arXiv (Cornell University)|Jun 27, 2022

Robotic Locomotion and Control被引用数 4

ひとこと要約

本論文では、40分間のヒューマンデモデータのみを用いて、四足歩行ロボットの意味的意識を持つ歩行スキルを学習する階層的フレームワークを提示する。意味的認識の事前学習、速度選択のための模倣学習、およびゲート選択器を組み合わせることで、安全で効率的な複雑なオフロード地形の走破が可能となり、多様で未確認のトレイルを6km以上、障害なしに走破した。

ABSTRACT

The semantics of the environment, such as the terrain type and property, reveals important information for legged robots to adjust their behaviors. In this work, we present a framework that learns semantics-aware locomotion skills from perception for quadrupedal robots, such that the robot can traverse through complex offroad terrains with appropriate speeds and gaits using perception information. Due to the lack of high-fidelity outdoor simulation, our framework needs to be trained directly in the real world, which brings unique challenges in data efficiency and safety. To ensure sample efficiency, we pre-train the perception model with an off-road driving dataset. To avoid the risks of real-world policy exploration, we leverage human demonstration to train a speed policy that selects a desired forward speed from camera image. For maximum traversability, we pair the speed policy with a gait selector, which selects a robust locomotion gait for each forward speed. Using only 40 minutes of human demonstration data, our framework learns to adjust the speed and gait of the robot based on perceived terrain semantics, and enables the robot to walk over 6km without failure at close-to-optimal speed.

研究の動機と目的

• 地形の意味的特徴（例：芝生、泥、アスファルト）に基づいて歩行を能動的に適応させるロボットを実現し、幾何的特徴に依存するのではなく、それらを補完すること。
• オフロード環境における高コストなデータ収集とハードウェアリスクのため、実世界でのポリシー学習におけるデータ効率性と安全性の課題に対処すること。
• 実世界での直接強化学習による探索を回避する、データ効率的で安全なトレーニングフレームワークの開発。
• 認識された地形の意味的特徴に基づいて、速度とゲート選択を統合的に学習することで、走破性と耐性を向上させること。
• 最小限のヒューマンデモデータで、未確認のオフロード地形に一般化できるようにすること。

提案手法

• オフロードドライブデータセットを用いて、地形理解のための意味的埋め込みを抽出するため、意味的セグメンテーションネットワークを事前学習する。
• 事前学習済みネットワークの隠れ層表現を用いて、認識モデルを微調整することで、一般化性能とデータ効率性を向上させる。
• ヒューマンデモを用いてRGB画像からの速度選択を収集し、模倣学習により適切な前進速度を選択する速度ポリシーを学習する。
• 速度ポリシーとゲート選択器を組み合わせた階層的制御アーキテクチャを実装し、各選択速度に対して安定したゲートを選択する。
• シミュレーションを経由せずに、Unitree A1 ロボットにエンドツーエンドのフレームワークを実装して実世界にデプロイする。
• 意味的埋め込みと模倣学習を活用することで、最小限の探索で安全に実世界のポリシー学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 四足歩行ロボットは、ヒューマンデモのみを用いて、地形の意味的カテゴリに基づいて歩行速度とゲートを調整できるか？
• RQ2 意味的認識は、幾何的特徴のみに依存するアプローチと比較して、非構造的オフロード環境における歩行性能をどのように向上させるか？
• RQ3 事前学習された認識を用いた模倣学習は、実世界のロボット学習におけるデータ要件の削減と安全性の確保に、どの程度寄与するか？
• RQ4 本フレームワークは未確認の地形に一般化可能であり、多様な屋外トレイルで高速かつ障害なしの走破を達成できるか？
• RQ5 異なる認識の微調整戦略（例：隠れ層特徴の使用 vs. クラス予測の使用）がポリシー性能に与える影響は何か？

主な発見

• フレームワークにより、四足歩行ロボットは、多様で未確認の屋外トレイルを6km以上、障害なしに走破し、優れた一般化性能を示した。
• ヒューマンデモデータをわずか40分間で使用したにもかかわらず、地形の意味的特徴に基づいて適切な速度とゲートを選択する能力を習得し、アスファルトのような平坦で剛性のある表面では高速歩行を達成した。
• 特に岩や小石の多い難易度の高い地形において、製品のデフォルトコントローラーよりも速度と安全性の両面で優れた性能を示した。
• ゲート選択器の導入により、安定性が著しく向上し、ゲートのみのポリシーと比較してスリップや障害が減少した（岩場では2回のスリップが発生）。
• アブレーションスタディの結果、事前学習済みの隠れ層埋め込みからの微調整が、最も正確な速度予測と最小の検証誤差を達成した。
• 剛性があり平坦な地形（例：アスファルト）では高速度を選択し、変形性や不整地の地形（例：芝生、泥）ではより慎重なゲートを選択するポリシーが、人間の直感と地形の特性に整合した。