[論文レビュー] Isaac Gym: High Performance GPU-Based Physics Simulation For Robot Learning

Viktor Makoviychuk, Lukasz Wawrzyniak+9 more|arXiv (Cornell University)|Aug 23, 2021

Parallel Computing and Optimization Techniques被引用数 318

ひとこと要約

Isaac Gym はエンドツーエンドの GPU 加速ロボティクスシミュレーションと PPO ベースのトレーニングを提供し、1つの GPU で何万もの並列環境を可能にし、CPU ベースのパイプラインに対して 2-3 オーダーオブマグニチュードの速度向上を実現します。

ABSTRACT

Isaac Gym offers a high performance learning platform to train policies for wide variety of robotics tasks directly on GPU. Both physics simulation and the neural network policy training reside on GPU and communicate by directly passing data from physics buffers to PyTorch tensors without ever going through any CPU bottlenecks. This leads to blazing fast training times for complex robotics tasks on a single GPU with 2-3 orders of magnitude improvements compared to conventional RL training that uses a CPU based simulator and GPU for neural networks. We host the results and videos at \\url{https://sites.google.com/view/isaacgym-nvidia} and isaac gym can be downloaded at \\url{https://developer.nvidia.com/isaac-gym}.

研究の動機と目的

• ロボティクスの高スループット強化学習を促進するために、シミュレーションとデータ転送における CPU-GPU のボトルネックを除去する。
• 観測、報酬、および行動を GPU 上に保つ、GPU センチックな物理と学習パイプラインを開発する。
• ディープラーニングのトレーニングとシームレスに統合できるテンソルベースの Python API を提供し、物理バッファを PyTorch テンソルにマッピングする。
• 単一GPUハードウェア上で多様で高忠実度のロボット環境を示し、性能とトレーニングの速度向上を定量化する。

提案手法

• GPU データパスを用いた端から端までの GPU 加速物理計算のために NVIDIA PhysX を利用する。
• 物理状態と制御を PyTorch でラップされたテンソルとして公開し、Python からの直接・ゼロコピーアクセスを可能にする。
• 数千の environment コピーを単一の GPU シーンに詰め込み、微細な並列性を最大化する。
• GPU 上でのステップ実行、状態取得/設定、制御適用をすべて実行する Tensor API と Python インターフェイスを実装する。
• 観測と行動をベクトル化した PPO ベースの学習設定を提供しつつ、他の RL アルゴリズムの置換を許容する。

実験結果

リサーチクエスチョン

• RQ1 GPU にデータをすべて保持した場合、CPU ベースのパイプラインと比較してどれくらいの速度向上が得られるか。
• RQ2 エンドツーエンドの GPU 学習は、複雑な接触を伴うダイナミクスを持つ数千の並列ロボット環境をサポートできるか。
• RQ3 GPU 加速シミュレータ内で、腱、接触、およびドメインランダム化のモデリングにはどんなトレードオフがあるか。
• RQ4 Isaac Gym を用いたさまざまなロボットシステムの現実シム転移はどれほどうまく機能するか。
• RQ5 locomotion、dexterous manipulation などの異なるロボットタスクでのスループット、ホライズン、環境数の性能特性はどのようか。

主な発見

• CPU ベースの PPO パイプラインに対して、複雑なロボティクス課題で 2-3 オーダーオブマグニチュードのトレーニング速度向上。
• Ant および Humanoid の locomotion ポリシーは、単一の A100 GPU で数分程度で performant な locomotion に到達可能。
• Shadow Hand のキューブ回転などのデ dexterous タスクは、CPU クラスターのベースラインに比べて単一 GPU 上で数時間内に顕著なマイルストーンに達する。
• ANYmal および TriFinger タスクのシム-実機転移デモが示され、高忠実度の接触豊富なシミュレーションを強調。
• OpenAI Shadow Hand のキューブ学習結果は Isaac Gym で再現性があり、以前の CPU/GPU 設定よりもはるかに速く競争力のある成功率を達成。