[論文レビュー] Hierarchical Reinforcement Learning for Quadruped Locomotion

Deepali Jain, Atıl Işçen+1 more|arXiv (Cornell University)|May 22, 2019

Robotic Locomotion and Control参考文献 14被引用数 10

ひとこと要約

本論文は、エンド・トゥ・エンド学習により低レベルの運動スキルを自動で発見するための階層的強化学習フレームワークを、四足歩行ロボットに提案している。高レベル方策は潜在的命令を発行し、実行時間も決定する。低レベル方策はオンボードセンサの情報に基づいて実行され、タスクに依存しないスキル学習、移行性、およびより高い効率性と顕在的操舵行動を伴う実世界への展開を可能にする。

ABSTRACT

Legged locomotion is a challenging task for learning algorithms, especially when the task requires a diverse set of primitive behaviors. To solve these problems, we introduce a hierarchical framework to automatically decompose complex locomotion tasks. A high-level policy issues commands in a latent space and also selects for how long the low-level policy will execute the latent command. Concurrently, the low-level policy uses the latent command and only the robot's on-board sensors to control the robot's actuators. Our approach allows the high-level policy to run at a lower frequency than the low-level one. We test our framework on a path-following task for a dynamic quadruped robot and we show that steering behaviors automatically emerge in the latent command space as low-level skills are needed for this task. We then show efficient adaptation of the trained policy to a different task by transfer of the trained low-level policy. Finally, we validate the policies on a real quadruped robot. To the best of our knowledge, this is the first application of end-to-end hierarchical learning to a real robotic locomotion task.

研究の動機と目的

• 多様な基本的行動を必要とする複雑な脚部歩行タスクを学習する課題に、スキルや報酬の手動設計なしに対処すること。
• エンド・トゥ・エンド階層的学習により、低レベル方策を新しいタスクに効率的に移行できること。
• 異なる時間スケールで動作させ、それぞれの状態表現を別々に用いることで、高レベル意思決定と低レベル制御を分離すること。
• 本フレームワークを実四足歩行ロボットで検証し、動的環境下でも頑健で一般化可能な性能を示すこと。

提案手法

• 二段階の階層的方策アーキテクチャを採用：高レベル方策が潜在的命令を発行し、実行時間を決定する。低レベル方策はオンボードセンサ情報のみを用いてアクチュエータを制御する。
• 高レベル方策は低レベル方策よりも低い周波数で動作するため、状態更新レートの分離が可能となり、通信負荷が低減される。
• 潜在的命令空間は最大エントロピー強化学習によりエンド・トゥ・エンドで学習され、事前に定義された行動なしに低レベルスキルの自動発見が可能になる。
• 低レベル方策は、前進進捗と操舵精度に基づく密な報酬関数で形状付けられており、過学習を防ぐために報酬の上限が設定されている。
• 本フレームワークは移行学習をサポート：訓練済みの低レベル方策が新しいタスクに再利用され、迅速な適応が可能になる。
• 低レベル制御は高周波のIMUと関節フィードバックを用いる。一方、高レベルの状態推定には低周波のモーションキャプチャデータが使用される。

実験結果

リサーチクエスチョン

• RQ1 階層的強化学習フレームワークは、プリミティブや報酬の手動設計なしに、四足歩行のための低レベル運動スキルを自動で発見できるか？
• RQ2 パスフォローリングタスクにおいて、潜在的命令空間が自然に顕在的操舵行動をサポートするか？
• RQ3 訓練済みの低レベル方策は、最小限の再訓練で新しい歩行タスクに効果的に移行可能か？
• RQ4 本階層的方策は、実四足歩行ロボットに成功裏に展開され、安定的かつ頑健な性能を示せるか？

主な発見

• トレーニング中に潜在的命令空間内で操舵行動が自動的に顕在し、曲がり道を明示的な報酬形状付けなしに追従できるようになった。
• 訓練済みの低レベル方策は移行学習により新しいパスフォローリングタスクに迅速に適応し、トレーニング時間を著しく短縮した。
• 階層的方策は実四足歩行ロボットに成功裏に展開され、ハードウェア上での安定的かつ頑健な歩行を示した。
• 本フレームワークは、事前に定義された低レベル行動を用いたベースラインより優れた性能を示し、スキル発見のためのエンド・トゥ・エンド学習の利点を裏付けた。
• 高レベル方策は低レベル方策よりも低い周波数で動作しており、通信および処理負荷を低減しながらも性能を維持した。
• 本手法により、各レベルの状態表現が別々に定義されているため、単一のタスクで学習した場合でも、タスクに依存しない再利用可能な低レベルスキルの学習が可能になった。