[論文レビュー] ALLSTEPS: Curriculum-driven Learning of Stepping Stone Skills

Zhaoming Xie, Hung Yu Ling+2 more|arXiv (Cornell University)|May 9, 2020

Human Motion and Animation参考文献 37被引用数 5

ひとこと要約

本論文では、モーションキャプチャデータを一切使用せずに、物理学に基づくステッピングストーン歩行を学習するカリキュラム駆動型の深層強化学習フレームワークであるALLSTEPSを提示する。4つのカリキュラム戦略により段階的にタスクの難易度を向上させることで、人間型アバター、シミュレートされた二足歩行ロボット（Cassie）、モンスター型キャラクターの3種類のキャラクターにおいて、効率的な学習と一般化が達成され、連続的で不規則な地形へのポリシーの転送も可能である。

ABSTRACT

Humans are highly adept at walking in environments with foot placement constraints, including stepping-stone scenarios where the footstep locations are fully constrained. Finding good solutions to stepping-stone locomotion is a longstanding and fundamental challenge for animation and robotics. We present fully learned solutions to this difficult problem using reinforcement learning. We demonstrate the importance of a curriculum for efficient learning and evaluate four possible curriculum choices compared to a non-curriculum baseline. Results are presented for a simulated human character, a realistic bipedal robot simulation and a monster character, in each case producing robust, plausible motions for challenging stepping stone sequences and terrains.

研究の動機と目的

• 物理学的シミュレーションにおける複雑なステッピングストーン歩行を学習する汎用的でデータフリーな手法の開発。
• 困難な二足歩行タスクにおける学習効率とポリシー品質に与えるカリキュラム設計の影響の調査。
• 事前に計画された足場配置を伴う連続的で不規則な地形への学習済みステッピングストーンポリシーの転送性の実証。
• 学習アルゴリズムの制限ではなく、キャラクターの生物学的・生体力学的限界を反映した現実的で物理的に整合性のある動きの生成。
• 強化学習と報酬形状付けのみを用いて、多様で制約のある地形をロバストに走破可能にする仕組みの実現。

提案手法

• 報酬関数はバランス、進行度、エネルギー効率を重視し、転倒や過剰なエネルギー使用に対してペナルティを課す深層強化学習を採用。
• 段階的なタスク難易度の上昇を実現するカリキュラム戦略により、ステップの高さ、距離、複雑さを段階的に増加。初期段階では単純な平坦なステップシーケンスから開始。
• 4つの異なるカリキュラムを評価：固定進捗、適応的難易度推定、成功基準進捗、難易度フィルタリングを施したランダムサンプリング。
• ポリシーは将来のステップを予測する2ステップ先読みを実装し、人間の反応時間や制御の慎重さを模倣するための設定可能な先読み遅延を備える。
• 報酬関数には「生存ボーナス」を含め、胴体の最低高さを維持することで、安定した立ち姿勢を促進し、つま先歩行や低姿勢を抑制。
• 物理エンジンを用いたシミュレーションでポリシーを学習し、離散的ステッピングストーンシーケンスおよび連続的で不規則な地形の両方で転送性を検証。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習のみで、モーションキャプチャデータなしにロバストで現実的なステッピングストーン歩行を学習できるか？
• RQ2 カリキュラム学習は、シミュレーションにおける複雑な二足歩行タスクの学習効率と成功確率にどのように影響するか？
• RQ3 固定、適応的、成功基準、ランダムサンプリング＋フィルタリングの4つのカリキュラム戦略の中で、どの戦略が最も効果的かつ一般化可能なポリシーを生み出すか？
• RQ4 学習済みステッピングストーンポリシーは、事前に計画された足場配置を伴う連続的で不規則な地形にどの程度転送可能か？
• RQ5 人間型、Cassie、モンスター型の異なるキャラクターの形状が、ポリシー行動や学習ダイナミクスにどのように影響を与えるか？

主な発見

• カリキュラムベースのアプローチは、非カリキュラムベースラインを顕著に上回り、そうでなければ到達不可能だった複雑なステッピングストーンタスクの学習に成功した。
• 水平移動と直線移動の両方の難易度を推定する適応的カリキュラムは、異なるキャラクター間で優れたパフォーマンスとスケーラビリティを示した。
• Humanoidは、予定されるステップの組み合わせに応じてタイミングを柔軟に調整するガチを学習したが、Cassieは固定のタイミングにより、より慎重で1ステップ先読みの戦略を取った。
• 30フレームの先読み遅延を採用した場合、平均歩行速度は1.35 m/sに達し、人間の歩行速度と同等の性能を示した。遅延を短縮することで、2.10 m/sまで加速可能であった。
• 事前に計画された足場配置を伴う連続的地形に対しても、ポリシーは効果的に一般化され、離散的ステッピングストーンシナリオを超えた転送性が実証された。
• 確率的変動が存在しても、ポリシーは一貫して現実的で物理的に整合性のある動きを生成した。特にHumanoidはエネルギーペナルティの影響で、抱え込み姿勢を好む傾向を示した。