[論文レビュー] Hybrid Internal Model: Learning Agile Legged Locomotion with Simulated Robot Response

Junfeng Long, Zirui Wang+4 more|arXiv (Cornell University)|Dec 18, 2023

Robotic Locomotion and Control被引用数 4

ひとこと要約

本論文では、自己認識センサ（IMUとジョイントエンコーダ）のみを用いて俊敏な脚付き走破を実現する学習ベース手法、ハイブリッド内部モデル（HIM）を提案する。外部の摂動要因（地形の摩擦や高さ変化など）を、対照的学習で最適化されたハイブリッド内部埋め込みとしてモデル化することで、ロボットの速度と安定性を表現し、わずか1時間のトレーニングでRTX 4090上で安定かつ一般化可能な走破を達成。外部認識を用いない実世界での展開においても、オラクル方策を上回る性能を発揮した。

ABSTRACT

Robust locomotion control depends on accurate state estimations. However, the sensors of most legged robots can only provide partial and noisy observations, making the estimation particularly challenging, especially for external states like terrain frictions and elevation maps. Inspired by the classical Internal Model Control principle, we consider these external states as disturbances and introduce Hybrid Internal Model (HIM) to estimate them according to the response of the robot. The response, which we refer to as the hybrid internal embedding, contains the robot's explicit velocity and implicit stability representation, corresponding to two primary goals for locomotion tasks: explicitly tracking velocity and implicitly maintaining stability. We use contrastive learning to optimize the embedding to be close to the robot's successor state, in which the response is naturally embedded. HIM has several appealing benefits: It only needs the robot's proprioceptions, i.e., those from joint encoders and IMU as observations. It innovatively maintains consistent observations between simulation reference and reality that avoids information loss in mimicking learning. It exploits batch-level information that is more robust to noises and keeps better sample efficiency. It only requires 1 hour of training on an RTX 4090 to enable a quadruped robot to traverse any terrain under any disturbances. A wealth of real-world experiments demonstrates its agility, even in high-difficulty tasks and cases never occurred during the training process, revealing remarkable open-world generalizability.

研究の動機と目的

• カメラやLiDARなどの外部センサに依存しない、ロバストでセンサ効率の高い走破方策の開発。
• 2段階の模倣学習の限界、すなわち情報損失やシミュレーションから実世界への移行におけるノイズ感受性の問題の解決。
• バッチレベルのシミュレーション情報を利用した、サンプル効率性とノイズ耐性に優れた走破方策のトレーニング。
• 古典的内部モデル制御と現代の深層強化学習を、脚付きロボットに接続する。
• 最小限のセンサ入力で、訓練中に見られなかった地形や摂動に対しても、オープンワールドでの一般化を実証すること。

提案手法

• HIMは、地形の摩擦や高さ変化といった外部環境状態をシステムの摂動とみなして、ロボットのシミュレーテッド応答から推定する。
• 対照的学習により学習されるハイブリッド内部埋め込みは、明示的な速度追従と、歴史的な自己認識観測から導かれる暗黙の安定性を表現する。
• 現在の埋め込みと次状態との間の対照的損失を最小化することで、埋め込みが自然に将来のダイナミクスに埋め込まれるように最適化する。
• 方策ネットワークは、自己認識観測と動的に更新されるハイブリッド内部埋め込みの両方を入力とし、Proximal Policy Optimization (PPO) でトレーニングする。
• ハイブリッド内部最適化（HIO）は、PPOの各イテレーションで埋め込みを更新し、方策が環境の摂動を暗黙的に推定・区別できるようにする。
• 本手法は、Isaac Gymのシミュレーションから得られるバッチレベルの情報を活用し、環境パラメータの絶対的回帰を必要とせず、ロバスト性とサンプル効率性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己認識センサ（IMUとジョイントエンコーダ）のみで、外部認識を一切使わずに、俊敏で一般化可能な走破方策を達成できるか？
• RQ2 ハイブリッド内部埋め込みの対照的学習は、環境状態の直接的回帰と比較して、センサノイズ耐性とサンプル効率性をどのように向上させるか？
• RQ3 シミュレーションで訓練された方策が、訓練中に見られなかった実世界の地形や摂動に対し、どの程度一般化できるか？
• RQ4 埋め込み最適化におけるバッチレベルの情報利用は、個別サンプルの回帰と比較して、一般化性能をどのように向上させるか？
• RQ5 実世界での展開において、本手法はオラクル方策や模倣ベースのベースラインと比較して、性能とロバスト性で優れているか？

主な発見

• HIMでトレーニングされた方策は、A1ロボットを用いた短距離階段走破で100%の成功確率を達成し、ベースライン（85%）と速度入力なしのアブレーション（80%）を上回った。
• Aliengoを用いた長距離階段走破では、176.5±7.81ステップを完了し、速度入力なしのアブレーション（51.45±25.67）を著しく上回った。
• 未確認の地形タスクでは、合成地形で85%の成功確率を達成し、内部モデルなしのアブレーション（70%）と速度損失アブレーションなし（75%）を上回った。
• A1での抗摂動テストでは最大10kgの積載能力を達成し、5kg以下のアブレーションを上回った。
• 欠落ステップタスクでは100%の成功確率を達成したが、潜在変数入力なしのアブレーションは5%に低下し、回帰ベースラインは完全に失敗（0%）した。
• 方策はたった2億サンプルで収束し、RTX 4090でわずか1時間のトレーニングで実現可能であり、高いサンプル効率性を示した。