[論文レビュー] Robust Recovery Controller for a Quadrupedal Robot using Deep Reinforcement Learning

Joonho Lee, Jemin Hwangbo+1 more|arXiv (Cornell University)|Jan 22, 2019

Robotic Locomotion and Control被引用数 42

ひとこと要約

この論文は、三つの挙動（自己起立、立ち上がり、移動）と挙動セレクタおよび高さ推定器を備えた階層的でモデルフリーの深層RLコントローラを開発し、ANYmalが転倒から回復できるようにする。100回超の試行で成功率は97%超を達成し、5秒以内に回復する。

ABSTRACT

The ability to recover from a fall is an essential feature for a legged robot to navigate in challenging environments robustly. Until today, there has been very little progress on this topic. Current solutions mostly build upon (heuristically) predefined trajectories, resulting in unnatural behaviors and requiring considerable effort in engineering system-specific components. In this paper, we present an approach based on model-free Deep Reinforcement Learning (RL) to control recovery maneuvers of quadrupedal robots using a hierarchical behavior-based controller. The controller consists of four neural network policies including three behaviors and one behavior selector to coordinate them. Each of them is trained individually in simulation and deployed directly on a real system. We experimentally validate our approach on the quadrupedal robot ANYmal, which is a dog-sized quadrupedal system with 12 degrees of freedom. With our method, ANYmal manifests dynamic and reactive recovery behaviors to recover from an arbitrary fall configuration within less than 5 seconds. We tested the recovery maneuver more than 100 times, and the success rate was higher than 97 %.

研究の動機と目的

• 四足歩行ロボットの堅牢な転倒回復の課題に取り組む。
• 手作業で設計された回復軌道への依存を排し、モデルフリーの深層RLを用いる。
• 複雑な回復タスクのために、複数の学習済み挙動を組み合わせる階層的コントローラを開発する。
• 高忠実度のシミュレーションとドメイン乱数化を通じて、信頼性の高い sim-to-real 移行を保証する。
• 多数の転倒シナリオにわたり ANYmal ロボット上で実験的にアプローチを検証する。

提案手法

• 制御を3つの学習済み挙動（自己起立、立ち上がり、移動）に分解し、学習済みの挙動セレクタで整理する。
• 各挙動を、タスク固有のコスト関数と初期状態分布を用いた TRPO+GAE でシミュレーション上で個別に訓練する。
• ポリシー出力を低インピーダンス PD コントローラ用の12D 関節位置ターゲットとして表現し、学習効率とロバスト性を高める。
• デプロイ時には base 姿勢推定に TSIF を、信頼性の高い base 高さ認識を維持するためにニューラル高度推定器を使用する。
• SEA に対するデータ駆動アクチュエータモデルと物理特性の乱択化を実装し、sim-to-real 移行を改善する。
• 事前に訓練された挙動の中から選択する挙動セレクタを訓練し、遷移とロバスト性を最適化する。観測データから訓練された同時の高度推定器を併用。

実験結果

リサーチクエスチョン

• RQ1 階層的なニューラル方策フレームワークは、四足歩行ロボットの任意の転倒配置から回復できるか？
• RQ2 学習済みセレクタを用いて分離した挙動を学習する方法は、回復タスクにおけるモノリシックな方策学習とどう比較されるか？
• RQ3 高度推定器を組み込むことは、回復および挙動切替時の信頼性を向上させるか？
• RQ4 実世界での撹乱およびモデリング誤差に対する本アプローチのロバスト性はどの程度か？

主な発見

• 回復コントローラにより ANYmal は任意の転倒配置から5秒以内に回復できる。
• 本手法は実機で100回超の試行で成功率が97%超を達成した。
• シミュレーションと実世界の展開は、挙動切替のタイミングと動作が非常に類似していた。
• 高度推定器が安定した base 高さ推定を維持し、望ましくない挙動切替を回避するためには重要である。
• 単純な手作りFSMも機能するが、学習済み挙動セレクタよりロバスト性が低く、設計反復を多く要する。