[論文レビュー] DreamWaQ: Learning Robust Quadrupedal Locomotion With Implicit Terrain Imagination via Deep Reinforcement Learning

I Made Aswin Nahrendra, Byeongho Yu+1 more|arXiv (Cornell University)|Jan 25, 2023

Robotic Locomotion and Control被引用数 7

ひとこと要約

DreamWaQ は、体性感覚センサのみを用いて、高さ、摩擦、障害物などの地形特性を暗黙的に想像することで、四足歩行ロボットが頑健な歩行を学習するためのディープ強化学習フレームワークを提案する。本手法は、シミュレーションから実世界へのゼロショット一般化を達成し、山、階段、泥んこな斜面など、複雑な自然および人工的地形を含む、465メートルにわたる継続的な屋外走行を実現した。実世界の条件下でも高い耐久性と適応性を示した。

ABSTRACT

Quadrupedal robots resemble the physical ability of legged animals to walk through unstructured terrains. However, designing a controller for quadrupedal robots poses a significant challenge due to their functional complexity and requires adaptation to various terrains. Recently, deep reinforcement learning, inspired by how legged animals learn to walk from their experiences, has been utilized to synthesize natural quadrupedal locomotion. However, state-of-the-art methods strongly depend on a complex and reliable sensing framework. Furthermore, prior works that rely only on proprioception have shown a limited demonstration for overcoming challenging terrains, especially for a long distance. This work proposes a novel quadrupedal locomotion learning framework that allows quadrupedal robots to walk through challenging terrains, even with limited sensing modalities. The proposed framework was validated in real-world outdoor environments with varying conditions within a single run for a long distance.

研究の動機と目的

• 限られたセンシングモダリティのもとで、非構造的かつ動的な地形を歩行する四足歩行ロボットを支援する課題に対処すること。
• 体性感覚のみの地形推定における表現学習のボトルネックを解消するため、ポリシーと環境コンテキストを同時に学習すること。
• 外部センサ（カメラやLiDARなど）に依存せず、実世界の屋外環境でも効果的に動作する、頑健で一般化可能な歩行ポリシーを開発すること。
• 外部センサを一切使用せず、斜面、階段、変形しやすい地面を含む多様で挑戦的な地形において、継続的かつ長距離の歩行を実現すること。
• コンパクトな Unitree A1 ロボット上でフレームワークを検証し、実世界の屋外展開において前例のない耐久性と適応性を達成すること。

提案手法

• 体性感覚フィードバックのみから地形特性（例：高さマップ、摩擦、復元係数）を暗黙的に推定できる非対称なアクター・クリティックアーキテクチャを提案する。
• IMU およびジョイントエンコーダーのデータのみを用いて、ボディ状態と環境コンテキストを同時に推定するコンテキスト支援推定ネットワーク（CENet）を導入する。
• 部分的観測性を持つ部分的マーカブル・マークフ・プロセス（POMDP）定式化を用いて、シミュレーション内でポリシーを訓練する。この際、エージェントは相互作用を通じて地形特性を推論する必要がある。
• 不確実性に基づいて探索を動的に調整することで、トレーニング中のポリシーの頑健性を向上させる、適応的ブートストラップ法（AdaBoot）を実装する。
• 明示的な地形セグメンテーションや分類を避けるために、地形特性を暗黙的に表現するための潜在空間表現を用いる。
• 実世界の地形変動や外乱を模倣する多様なシミュレーション環境でトレーニングすることで、ゼロショットのシミュレーションから実世界への転送を実現する。

実験結果

リサーチクエスチョン

• RQ1 カメラやLiDARなどの外部センサに依存せず、体性感覚センサのみを用いて四足歩行ロボットが頑健な歩行を学習できるか？
• RQ2 ディープ強化学習ポリシーは、体性感覚フィードバックのみから、摩擦、高さ、障害物の有無といった複雑な地形特性をどのように暗黙的に推定できるか？
• RQ3 シミュレーションでトレーニングされたポリシーは、ファインチューニングやドメインランダマイゼーションなしで、実世界の非構造的地形にどの程度一般化できるか？
• RQ4 ボディ状態と環境コンテキストの共同推定が、ポリシーの頑健性と適応性を向上させる役割を果たすか？
• RQ5 Unitree A1 のような軽量でコンパクトなロボットは、外部センサを一切使用せず、多様で挑戦的な屋外地形を長距離にわたって歩行し続けられるか？

主な発見

• DreamWaQ により、Unitree A1 ロボットは、22メートルの標高上昇を伴う山の斜面を465メートルの屋外走行で走破し、10分未満で頂上に到達した。
• ロボットは、泥んこな斜面、階段、濃い木々の生えた未舗装の自然地形を走破し、リアルタイムで歩行パターンとジョイント出力を適応的に変更した。
• 雨天時においても、滑りやすい階段や泥に深く沈む足跡に対しても、安定性を維持し、歩行を継続した。これは、環境的外乱に対するレジリエンスを示している。
• CENet を搭載したポリシーは、正確なボディ速度推定と、足のつまづきや滑りに対する迅速な適応を達成し、即時の歩行回復を可能にした。
• DreamWaQ はベースライン手法を上回る頑健性を示し、より高いプッシュ干渉耐性と、厳しい条件下でのより高い生存率を達成した。
• AdaBoot 法は、ベースライン性能を劣化させることなくポリシーの頑健性を向上させ、不確実性を考慮したトレーニングにおける有効性を裏付けた。