[論文レビュー] Learning to Walk in Minutes Using Massively Parallel Deep Reinforcement Learning

Nikita Rudin, David Hoeller+2 more|arXiv (Cornell University)|Sep 24, 2021

Robotic Locomotion and Control被引用数 101

ひとこと要約

この論文は、単一のGPU上で数千のロボットを並列に用いて四足歩行のポリシーを学習し、数分間のトレーニング時間とシムツーリアル転送を実現。ゲームに触発されたカリキュラムとGPUベースのパイプラインによって支えられている。

ABSTRACT

In this work, we present and study a training set-up that achieves fast policy generation for real-world robotic tasks by using massive parallelism on a single workstation GPU. We analyze and discuss the impact of different training algorithm components in the massively parallel regime on the final policy performance and training times. In addition, we present a novel game-inspired curriculum that is well suited for training with thousands of simulated robots in parallel. We evaluate the approach by training the quadrupedal robot ANYmal to walk on challenging terrain. The parallel approach allows training policies for flat terrain in under four minutes, and in twenty minutes for uneven terrain. This represents a speedup of multiple orders of magnitude compared to previous work. Finally, we transfer the policies to the real robot to validate the approach. We open-source our training code to help accelerate further research in the field of learned legged locomotion.

研究の動機と目的

• GPU上の大規模並列性を活用して、現実世界のロボット制御ポリシーの学習時間を短縮する。
• アルゴリズム構成要素とハイパーパラメータが大規模並列設定にどのように適応するかを検討する。
• 数千の並列ロボットに適したゲームに触発された自動カリキュラムを導入する。
• 現実の四足歩行ロボット上で学習した移動ポリシーのsim-to-real転送を実証する。

提案手法

• NVIDIA’s Isaac Gymを用いてエンドツーエンドのシミュレーションとポリシー更新を完全にGPU上で実行し、数千のロボットを並列に動作させる。
• バッチサイズとステップ数の制約を含む、 massively parallelデータ収集と更新のためにPPOを適応させる。
• チューニングなしでロボットごとのパフォーマンスに基づいて地形難易度を上げる、ゲームに触発されたカリキュラムを導入する。
• タイムアウトリセット時にクリティックのブートストラップを実装し、時間制約ありエピソードでクリティックの安定性を維持する。
• シムツーリアル因子（摩擦、観測ノイズ、外部プッシュ）をランダム化して転送の頑健性を向上させる。
• 簡単な観測と行動で複数の地形に跨る単一ポリシーを学習し、複数のロボットバリアントおよび二足歩行ロボットへの転送を検証する。

実験結果

リサーチクエスチョン

• RQ1 並列ロボットの数を増やすと、オンポリシーDRL設定における最終ポリシーの性能とトレーニング時間にどのような影響を与えるか？
• RQ2 GPU上で数千の並列エージェントと効果的に機能させるためにPPOにどのハイパーパラメータ調整が必要か？
• RQ3 massively parallelシミュレーションで学習したポリシーは、異なるハードウェアバリアントを横断して現実の四足歩行ロボットへ効果的に転送できるか？
• RQ4 ゲームに触発されたカリキュラムが、さまざまな地形タイプにおける学習の進行と最終性能にどう影響するか？

主な発見

• フラットな地形の学習は、単一のGPUで4分未満で達成できる。
• 不均一な地形の学習は約20分で完了する。
• このアプローチは数千のロボットを並列に学習するポリシーを可能にし、先行研究に比べて大幅な高速化を実現する。
• シミュレーションで学習したポリシーは、ANYmal Cをはじめとする他のロボットに歩容特有の手作業なしで実機適用できる。
• 提案されたパイプラインで学習された単一ポリシーは、最小限の変更、あるいは変更なしで複数のロボットバリアント（ANYmal B/C、Unitree A1、Cassie）に転送できる。
• シミュレーションでは、4096ロボットと約10万〜20万サンプルのバッチサイズで学習したポリシーが、1500回のポリシー更新以内に効果的な性能を達成し、20分未満で収束した。