[論文レビュー] Advanced Skills through Multiple Adversarial Motion Priors in Reinforcement Learning

Eric Vollenweider, Marko Bjelonic+4 more|arXiv (Cornell University)|Mar 23, 2022

Robotic Locomotion and Control被引用数 6

ひとこと要約

この論文では、複雑なロボットスキルのための複数の敵対的モーショングラントを学習・切り替え可能な単一ポリシーを可能にする強化学習フレームワーク、Multi-AMPを紹介する。逆方向のモーショングラントを活用することで、煩わしい報酬設計を不要にし、四足歩行から人型への移行や、車輪付き脚部ロボットにおける動的座り込みなどのスキルを、単一スタイル学習と同等の性能で、実世界への安定した展開を可能にする。

ABSTRACT

In recent years, reinforcement learning (RL) has shown outstanding performance for locomotion control of highly articulated robotic systems. Such approaches typically involve tedious reward function tuning to achieve the desired motion style. Imitation learning approaches such as adversarial motion priors aim to reduce this problem by encouraging a pre-defined motion style. In this work, we present an approach to augment the concept of adversarial motion prior-based RL to allow for multiple, discretely switchable styles. We show that multiple styles and skills can be learned simultaneously without notable performance differences, even in combination with motion data-free skills. Our approach is validated in several real-world experiments with a wheeled-legged quadruped robot showing skills learned from existing RL controllers and trajectory optimization, such as ducking and walking, and novel skills such as switching between a quadrupedal and humanoid configuration. For the latter skill, the robot is required to stand up, navigate on two wheels, and sit down. Instead of tuning the sit-down motion, we verify that a reverse playback of the stand-up movement helps the robot discover feasible sit-down behaviors and avoids tedious reward function tuning.

研究の動機と目的

• 複雑な歩行スキルのための強化学習における報酬関数チューニングの課題に対処すること。
• 性能の低下を伴わずに、複数の離散的選択可能なモーショングラントスタイルを学習・切り替え可能な単一ポリシーを実現すること。
• 敵対的モーショングラント（AMP）手法を、データフリーのモーショングラントと動的スキル切り替えをサポートするように拡張すること。
• 四足歩行から人型への変換のような、非伝統的な高度なスキルを実機で学習可能であることを実証すること。
• 脚部ロボットの模倣学習におけるヒューリスティックなモーショングラント選択とタスク固有の報酬形状設計への依存度を低減すること。

提案手法

• 各モーショングラントスタイルに対応する別個の識別器を備えた、敵対的モーショングラント（AMP）フレームワークを複数の識別器をサポートするように拡張する。
• 逆方向のモーショングラント（例：逆方向の立ち上がりシーケンス）を用いて、座り込みなどの逆方向行動の学習をガイドする。
• 複数の識別器が、状態遷移のモーショングラントデータとの類似度に基づいて、スタイル固有の報酬を提供する単一ポリシーを訓練する。
• 座り込みコマンドの後にバッファ期間を設けることで、タスク報酬とモーショングラント目的を分離し、報酬の衝突を回避する。
• アクチュエータモデル、ランダムな摂動、関節速度に基づく軌道終了処理を用いたシミュレーションから実世界への転送技術を適用し、耐性を高める。
• ゲームにインspiredされたカリキュラムトレーニングと、動的立ち上がりなどの重要な段階での学習中におけるタイミング付きの押しつぶしを適用し、ポリシーの耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 敵対的モーショングラントを用いて、性能の低下を伴わずに、複数の切り替え可能なモーショングラントスタイルを単一ポリシーが同時に学習可能か？
• RQ2 報酬形状を施さずに、逆方向のモーショングラントが、座り込み（立ち上がりからの逆方向）のような逆方向行動の学習に有効なモーショングラントとして機能するか？
• RQ3 Multi-AMPは、単一スタイルAMPと比較して、ポリシー性能と学習安定性においてどのように異なるか？
• RQ4 データフリーのモーショングラントが、Multi-AMPフレームワークに効果的に統合可能か？
• RQ5 Multi-AMPは、複雑なロボットスキルにおける手動による報酬関数設計の必要性をどの程度低減できるか？

主な発見

• Multi-AMPフレームワークにより、歩行、かがみ込み、四足歩行から人型への移行といった複数のモーショングラントスタイルを、単一ポリシーが学習・切り替え可能であることが成功裏に実現された。
• 逆方向の立ち上がりモーショングラントを事前知識として用いることで、報酬関数チューニングが不要な安定した座り込み動作が学習可能となり、望ましくないモーショングラントスタイルと衝突するリスクを回避した。
• マルチスタイル学習における性能は、単一スタイル学習と同等であり、タスク成功確率やモーショングラントの質に顕著な低下は認められなかった。
• 座り込みコマンド後のバッファ期間の導入により、報酬の衝突が防止され、低衝撃で安定した座り込み動作の学習が可能になった。
• タイミング付きの押しつぶしと関節速度に基づく軌道終了処理の適用により、特に高動的スキル（立ち上がり）において、耐性が顕著に向上した。
• 本フレームワークにより、車輪付き脚部ロボットにおける四足歩行から人型への変換の実世界初のデモンストレーションが達成され、脚部ロボット分野における画期的な能力の実現となった。