[論文レビュー] Towards General and Autonomous Learning of Core Skills: A Case Study in Locomotion

Roland Hafner, Tim Hertweck+7 more|arXiv (Cornell University)|Aug 6, 2020

Robotic Locomotion and Control参考文献 38被引用数 10

ひとこと要約

本論文では、同一の報酬関数とハイパーパrameterを用いて、9種類の脚式および車輪式ロボット（二足歩行から六足歩行まで）の多様な移動スキルを学習できる汎用的でデータ効率の良いマルチタスク強化学習フレームワークを提示する。この手法は、外部の計測機器やプラットフォーム固有のチューニングを一切不要とし、オンボードセンサに依存するため、外部のインstrumentationなしに自律的かつ現実世界で学習が可能である。

ABSTRACT

Modern Reinforcement Learning (RL) algorithms promise to solve difficult motor control problems directly from raw sensory inputs. Their attraction is due in part to the fact that they can represent a general class of methods that allow to learn a solution with a reasonably set reward and minimal prior knowledge, even in situations where it is difficult or expensive for a human expert. For RL to truly make good on this promise, however, we need algorithms and learning setups that can work across a broad range of problems with minimal problem specific adjustments or engineering. In this paper, we study this idea of generality in the locomotion domain. We develop a learning framework that can learn sophisticated locomotion behavior for a wide spectrum of legged robots, such as bipeds, tripeds, quadrupeds and hexapods, including wheeled variants. Our learning framework relies on a data-efficient, off-policy multi-task RL algorithm and a small set of reward functions that are semantically identical across robots. To underline the general applicability of the method, we keep the hyper-parameter settings and reward definitions constant across experiments and rely exclusively on on-board sensing. For nine different types of robots, including a real-world quadruped robot, we demonstrate that the same algorithm can rapidly learn diverse and reusable locomotion skills without any platform specific adjustments or additional instrumentation of the learning setup.

研究の動機と目的

• 幅広いロボット形状に応じて最小限のタスク特化設計で移動スキルを学習可能な汎用的強化学習フレームワークの開発。
• 全く同じ報酬関数とハイパーパrameterが、ダイナミクスやトポロジーが著しく異なるロボット間で堅牢かつ転送可能な移動ポリシーを生成できるかどうかの検証。
• 外部センサや計測機器への依存を最小限に抑え、実機上で直接自律学習を可能にする。
• シミュレーションおよび実世界での展開において、フレームワークのデータ効率性と頑健性を示すこと。
• アーキテクチャ的・報酬設計的エンジニアリングなしに、同一の報酬意味論が自然にプラットフォーム固有の移動行動に適応することの検証。

提案手法

• 複数のロボット形状を同時に学習可能な、データ効率的でオフポリシーのマルチタスク強化学習アルゴリズムを採用。
• 全ロボットタイプにわたって同一の意味的報酬関数（例：前進速度、安定性、エネルギー効率）の少数を用いる。
• 外部のモーションキャプチャや計測機器を一切不要とし、状態推定と報酬計算にオンボードセンサ（例：IMU、ジョイントエンコーダ）に完全に依存。
• 全9台のロボットプラットフォームに同一の強化学習エージェントとハイパーパラメータ設定を適用し、実世界の四足歩行ロボットを含む。
• 標準化された部品から多様なロボット形状を構築可能なモジュラーハードウェアシステム（HEBI Robotics）を活用し、シミュレーションから実世界への一貫性ある転送を実現。
• 初期学習にはシミュレーションを活用し、実機上で最小限のドメインランダマイゼーションや適応処理でポリシーをファインチューニング。

実験結果

リサーチクエスチョン

• RQ1 同一の強化学習アルゴリズムと同一のハイパーパラメータ・報酬関数で、広範なロボット形状にわたり多様で堅牢な移動スキルを学習可能か？
• RQ2 外部の状態推定や計測機器なしに、オンボードセンサのみで自律的学習が可能か？
• RQ3 フレームワークは、異なる動的システムにおいてどのようにデータ効率性と高速収束性を確保しているか？
• RQ4 同一の報酬意味論が、各ロボットの物理的制約を反映した自然な適応行動を生成できるか？
• RQ5 シミュレーションで学習したポリシーを、広範な再チューニングやドメインランダマイゼーションなしに実世界ハードウェアに転送可能か？

主な発見

• 同一の強化学習アルゴリズムと同一のハイパーパラメータ・報酬関数により、二足歩行、四足歩行、六足歩行を含む9種類の異なるロボットタイプの移動ポリシーが正常に学習された。
• 外部の計測機器やモーションキャプチャを一切使用せず、オンボードセンサのみで学習が実施されたため、非構造的環境への展開が可能になった。
• データ効率性が実現され、実機上での相互作用時間数時間で学習が完了した。実世界の四足歩行ロボットでも同様に成功した。
• 同一の報酬関数であったにもかかわらず、各ロボットの動的特性に自然に適応した制御ポリシーが得られ、バウンシング、ペーシング、トライポッド歩行などのプラットフォーム固有の歩行パターンが生成された。
• シミュレーションで学習したポリシーが、最小限または全くファインチューニングなしに実機に成功裏に転送され、強いシミュレーションから実世界への一般化能力を示した。
• フレームワークにより、実世界環境で自律的学習が可能となり、一部のプラットフォームでは「野生の状態」で実験が実施され、セットアップの複雑さが著しく低減された。