[論文レビュー] Adversarial Motion Priors Make Good Substitutes for Complex Reward Functions

Alejandro Escontrela, Xue Bin Peng+5 more|arXiv (Cornell University)|Mar 28, 2022

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

本論文では、最小限のモーショングラフデータから学習された敵対的モーショングラフプライア（Adversarial Motion Priors）を、脚部ロボットの強化学習における複雑で手作業で設計された報酬関数の代替手段として提案する。これらのデータ駆動型スタイル報酬を用いてポリシーを訓練することで、自然でエネルギー効率の良い歩行行動が得られ、現実世界の四足歩行ロボットへの転送性も高く、報酬関数の構造化が不十分な場合や手作業で設計された代替手法よりも、エネルギー効率と現実性の両面で優れた性能を発揮する。

ABSTRACT

Training a high-dimensional simulated agent with an under-specified reward function often leads the agent to learn physically infeasible strategies that are ineffective when deployed in the real world. To mitigate these unnatural behaviors, reinforcement learning practitioners often utilize complex reward functions that encourage physically plausible behaviors. However, a tedious labor-intensive tuning process is often required to create hand-designed rewards which might not easily generalize across platforms and tasks. We propose substituting complex reward functions with "style rewards" learned from a dataset of motion capture demonstrations. A learned style reward can be combined with an arbitrary task reward to train policies that perform tasks using naturalistic strategies. These natural strategies can also facilitate transfer to the real world. We build upon Adversarial Motion Priors -- an approach from the computer graphics domain that encodes a style reward from a dataset of reference motions -- to demonstrate that an adversarial approach to training policies can produce behaviors that transfer to a real quadrupedal robot without requiring complex reward functions. We also demonstrate that an effective style reward can be learned from a few seconds of motion capture data gathered from a German Shepherd and leads to energy-efficient locomotion strategies with natural gait transitions.

研究の動機と目的

• シミュレーション内での現実的で転送性の高い歩行ポリシーを、複雑で手作業で調整された報酬関数に依存せずに訓練する課題に対処すること。
• 少量のモーショングラフデータから学習されたモーショングラフプライアが、強化学習における複雑な報酬形状の代替として効果的であるかどうかを調査すること。
• 敵対的モーショングラフプライアを用いて訓練されたポリシーのエネルギー効率と現実性を、手作業で設計された報酬関数や報酬正則化なしのポリシーと比較して評価すること。
• 敵対的モーショングラフプライアを用いて訓練されたポリシーが、自然な歩行遷移と安定した速度追従性を示しながら、実世界のデプロイメントに一般化できることを示すこと。

提案手法

• 4.5秒のドイツ・シェパードのモーショングラフデータから学習された、GANスタイルのフレームワークである敵対的モーショングラフプライア（AMP）を活用し、スタイル報酬を学習する。
• タスク固有の報酬（例：速度追従）と組み合わせた学習済みAMPスタイル報酬を用いてポリシーを訓練し、タスクの遂行性と自然な運動の両方を促進する。
• 生成された軌道分布と参照モーショングラフデータとの間のピアソン差を最小化するための識別器ネットワークを用い、提示された運動の「スタイル」を効果的に符号化する。
• タスク報酬 + 敵対的スタイル報酬の組み合わせ報酬を用いて強化学習によりポリシーを訓練し、物理的に妥当でエネルギー効率の良い行動を学習可能にする。
• 訓練済みポリシーを直接実際の四足歩行ロボット（A1）に適用し、実世界への転送性と性能を評価する。
• 歩行遷移、エネルギー消費量（輸送コスト、COT）、速度追従精度を分析して、現実性と効率性を評価する。

Figure 1: Training with Adversarial Motion Priors encourages the policy to produce behaviors which capture the essence of the motion capture dataset while satisfying the auxiliary task objective. Only a small amount of motion capture data is required to train the learning system (4.5 seconds in our

実験結果

リサーチクエスチョン

• RQ1 少量のモーショングラフデータから学習された敵対的モーショングラフプライアは、歩行ポリシーの訓練において、複雑で手作業で設計された報酬関数を効果的に置き換えることができるか？
• RQ2 モーショングラフプライアを用いて訓練されたポリシーは、標準的または複雑な報酬形状を用いた場合と比較して、より自然な歩行遷移と現実的な歩行パターンを示すか？
• RQ3 モーショングラフプライアを用いて訓練されたポリシーは、手作業で設計された報酬や非構造化報酬を用いた場合と比較して、より高いエネルギー効率（低いCOT）を達成できるか？
• RQ4 ポリシーは、実世界のデプロイメントにおいてどの程度一般化可能であり、実際の四足歩行ロボット上で安定性と追従性能を維持できるか？

主な発見

• 敵対的モーショングラフプライアを用いて訓練されたポリシーは、手作業で設計された報酬関数を用いた場合よりも低い輸送コスト（COT）を達成しており、エネルギー効率の向上を示している。
• ポリシーは、命令された速度に応じて、パーシングからキャンターへの自然な歩行遷移を学習し、生物学的四足歩行ロボットの歩行に類似した挙動を示した。
• 参照データセットに含まれるモーショングラフはわずか4.5秒であったが、ポリシーはデータセットに存在しない速度範囲を含む広範な速度範囲においても、速度命令を正確に追従した。
• A1ロボットへの実世界でのデプロイメントでは、安定した自然な歩行行動が得られ、エネルギー消費量の振動が最小限に抑えられ、正確な速度追従性が確認された。
• 必要に応じて、参照モーショングラフから逸脱する能力を示し、タスクを遂行するために柔軟に適応可能であることが判明した。
• AMPと単純なタスク報酬の組み合わせは、複雑な手作業で設計された報酬形式を上回り、エネルギー効率と運動の現実性の両面で優れた性能を発揮した。

Figure 2: Key frames, gait pattern, velocity tracking, and energy-efficiency of the robot dog throughout a trajectory A : Key frames of A1 during a canter motion overlaid on a plain background for contrast. B : Gait diagram indicating contact timing and duration for each foot in black. Training with