[論文レビュー] Orbit: A Unified Simulation Framework for Interactive Robot Learning Environments

Mayank Mittal, Calvin Yu+13 more|arXiv (Cornell University)|Jan 10, 2023

Modular Robots and Swarm Intelligence被引用数 5

ひとこと要約

Orbit は、NVIDIA Isaac Sim を基盤として構築されたオープンソースで GPU アクセラレートされたシミュレーションフレームワークであり、高精度な物理シミュレーション、フォトリアルなレンダリング、およびモジュラーなロボット-環境インタラクションを統合し、スケーラブルなロボット学習を実現する。このフレームワークにより、16台のロボットプラットフォーム、10種類のモーションジェネレータ、20以上のベンチマークタスクをカバーする中で、さまざまなセンサーやシミュレーションから実世界への展開（sim-to-real）をサポートしながら、強化学習ポリシーの高速トレーニングと効率的なデモンストレーションデータ収集が可能になる。

ABSTRACT

We present Orbit, a unified and modular framework for robot learning powered by NVIDIA Isaac Sim. It offers a modular design to easily and efficiently create robotic environments with photo-realistic scenes and high-fidelity rigid and deformable body simulation. With Orbit, we provide a suite of benchmark tasks of varying difficulty -- from single-stage cabinet opening and cloth folding to multi-stage tasks such as room reorganization. To support working with diverse observations and action spaces, we include fixed-arm and mobile manipulators with different physically-based sensors and motion generators. Orbit allows training reinforcement learning policies and collecting large demonstration datasets from hand-crafted or expert solutions in a matter of minutes by leveraging GPU-based parallelization. In summary, we offer an open-sourced framework that readily comes with 16 robotic platforms, 4 sensor modalities, 10 motion generators, more than 20 benchmark tasks, and wrappers to 4 learning libraries. With this framework, we aim to support various research areas, including representation learning, reinforcement learning, imitation learning, and task and motion planning. We hope it helps establish interdisciplinary collaborations in these communities, and its modularity makes it easily extensible for more tasks and applications in the future.

研究の動機と目的

• ロボット学習研究において、多様なロボットプラットフォーム、センサーモダリティ、学習パラダイムをサポートする統合的でモジュラーかつ高精度なシミュレーションフレームワークの不足を解消すること。
• 実際の物理、レンダリング、センサーシミュレーションを統合した標準的で拡張可能なプラットフォームを提供することで、研究者の参入障壁を低減すること。
• GPU を用いた並列処理とリアルタイムシミュレーションにより、強化学習および模倣学習のための効率的なトレーニングとデータ収集を可能にすること。
• 接触ダイナミクスの正確な再現と ROS や ZMQ ベースの制御パイプラインといった実世界のロボットスタックとの互換性を確保することで、シミュレーションから実世界への展開（sim-to-real）を支援すること。
• 代表的表現学習、タスク・モーションプランニング、ロボット学習における異分野連携の共通基盤を提供するため、包括的なフレームワークをオープンソース化すること。

提案手法

• NVIDIA Isaac Sim の PhysX 5 および Omniverse RTX レンダリングエンジンを活用し、剛体および可撓性のある物体をフォトリアルなビジュアルで高精度かつリアルタイムにシミュレートする。
• 再利用可能なコンポONENTを備えたモジュラーなアーキテクチャを採用し、ロボットプラットフォーム、センサー、モーションジェネレータ、環境アセットを統合することで、迅速なタスクおよび環境の構成が可能になる。
• GPU アクセラレートされた物理およびセンサーシミュレーションを用いることで、最大 125,000 ステップ/秒の高スループットを達成し、ポリシーの高速トレーニングとデータ収集を実現する。
• CPU および GPU ベースのモーションジェネレータ（例：逆運動学、MPC、事前学習済み歩行ポリシー）を統合し、多様なアクション空間と制御戦略をサポートする。
• ZMQ ベースの通信と 1000 Hz のコマンドアップサンプリングにより、シミュレーションから実世界への展開を実現し、Franka Emika および ANYmal-D ロボットで実証済み。
• 剛体および可撓性のある操作（例：キャビネット開閉、布団の畳み、部屋の再配置）を含む、複数のセンサーモダリティと観測空間をサポートする標準化されたベンチマークタスクを提供する。

Figure 1: Orbit ’s abstractions comprise World , analogous to the real world, and Agent , the computation graph behind the embodied system. The nodes in the agent’s graph can perform observation-based or action-based processing. Through a graph-cut over this computation graph and specifying an extri

実験結果

リサーチクエスチョン

• RQ1 統合的でモジュラーかつ高精度なシミュレーションフレームワークは、多様なロボットプラットフォーム、センサーモダリティ、および強化学習や模倣学習といった学習パラダイムを効率的にサポートできるか？
• RQ2 シミュレーションにおける高精度な物理およびレンダリングは、接触が豊富な操作および歩行タスクにおいて、シミュレーションから実世界への展開（sim-to-real）を成功に導くか？
• RQ3 GPU アクセラレートされたシミュレーションは、複雑なロボットタスクのスケーラブルなデータ収集およびポリシーのトレーニングをどの程度効果的に可能にするか？
• RQ4 モジュラーかつ拡張可能なフレームワークは、さまざまなアプリケーションドメインにおけるロボット学習分野の研究開発のオーバーヘッドを低減し、迅速化できるか？
• RQ5 物理ベースのセンサーとノイズモデルの統合は、学習されたポリシーの現実性および一般化性能をどの程度向上させるか？

主な発見

• Orbit により、1つの GPU で最大 125,000 ステップ/秒のシミュレーションスループットを達成し、完全なロボットシステムのスケーラブルなトレーニングと評価が可能になった。
• フレームワークは、固定アーム、移動型マニピュレータ、四足歩行ロボットを含む 16 台のロボットプラットフォームをサポートし、10 種類の GPU および CPU ベースのモーションジェネレータを備えており、多様な制御戦略を実現している。
• ZMQ と 1000 Hz のコマンドアップサンプリングを用いたシミュレーションから実世界への展開が、Franka Emika ロボットで成功裏に実証され、安定したリアルタイム制御が達成された。
• ANYmal-D の歩行タスク用の強化学習ポリシーをシミュレーションでトレーニングし、ANYmal ROS スタックを用いて実機にデプロイした結果、Orbit における接触ダイナミクスの高精度さが裏付けられた。
• RTX 3090 で 10 台の 640×480 RGB カメラのレンダリングは現在約 270 FPS に制限されているが、継続的な GPU アクセラレーションの最適化により、このボトル neck を改善する計画である。
• 20 以上のベンチマークタスク（剛体オブジェクト操作 11 項、可撓性オブジェクト操作 13 項）を含み、ロボット学習アルゴリズムの評価に標準的なテストベッドを提供している。

Figure 2: Illustration of actuator groups for a legged mobile manipulator. This allows decomposing a complex system into sub-groups and defining specific transmission models for each of them flexibly.