[論文レビュー] ManiSkill2: A Unified Benchmark for Generalizable Manipulation Skills

Jiayuan Gu, Fanbo Xiang+13 more|arXiv (Cornell University)|Feb 9, 2023

Robot Manipulation and Learning被引用数 21

ひとこと要約

ManiSkill2 は、20のタスクファミリー、2000以上のオブジェクト、4M以上のデモ、マルチコントローラ対応、速いビジュアルRL、そして一般化可能な操作研究のためのソフトボディ物理を備えた、統一された完全動的3D操作ベンチマークを提供します。

ABSTRACT

Generalizable manipulation skills, which can be composed to tackle long-horizon and complex daily chores, are one of the cornerstones of Embodied AI. However, existing benchmarks, mostly composed of a suite of simulatable environments, are insufficient to push cutting-edge research works because they lack object-level topological and geometric variations, are not based on fully dynamic simulation, or are short of native support for multiple types of manipulation tasks. To this end, we present ManiSkill2, the next generation of the SAPIEN ManiSkill benchmark, to address critical pain points often encountered by researchers when using benchmarks for generalizable manipulation skills. ManiSkill2 includes 20 manipulation task families with 2000+ object models and 4M+ demonstration frames, which cover stationary/mobile-base, single/dual-arm, and rigid/soft-body manipulation tasks with 2D/3D-input data simulated by fully dynamic engines. It defines a unified interface and evaluation protocol to support a wide range of algorithms (e.g., classic sense-plan-act, RL, IL), visual observations (point cloud, RGBD), and controllers (e.g., action type and parameterization). Moreover, it empowers fast visual input learning algorithms so that a CNN-based policy can collect samples at about 2000 FPS with 1 GPU and 16 processes on a regular workstation. It implements a render server infrastructure to allow sharing rendering resources across all environments, thereby significantly reducing memory usage. We open-source all codes of our benchmark (simulator, environments, and baselines) and host an online challenge open to interdisciplinary researchers.

研究の動機と目的

• 多様なオブジェクトレベルの変化と完全動的シミュレーションを備えた、一般化可能な操作スキルに関する再現性のある研究を促進する。
• 複数の観測モードとコントローラをサポートする統一されたOpenAI Gymインターフェースを提供する。
• 視覚的強化学習のための高速データ収集を可能にし、フレームワーク間の比較を可能にする。
• ソフトボディと剛体の相互作用をサポートし、ソフトボディシミュレータと剛体シミュレータ（SAPIEN との2方向結合）との間の2ウェイ結合を実現する。
• オンラインチャレンジを備えた共通ベンチマークで、感知・計画・実行、模倣学習、強化学習を促進する。

提案手法

• stationary/mobile-base を含む、単一/デュアルアーム、および剛体/ソフトボディ操作を網羅した20のタスクファミリを導入する。
• 統一された Gym インターフェースの下で、2000を超えるオブジェクトモデルと400万を超えるデモを備えた完全動的シミュレーションを実装する。
• ロボットと資産との相互作用を可能にする、硬-soft 相互作用のための、剛体シミュレータ（SAPIEN）への2方向結合を備えたリアルタイムGPU加速のソフトボディMPMシミュレータを開発する。
• 複数のコントローラ（ジョイント空間、デルタジョイント空間、デルタエンドエフェクタ姿勢など）を提供し、異なるコントローラに合わせてデモンストレーションを行動空間へ変換するデモンストレーション-アクション空間変換を提供する。
• 非同期レンダリングとレンダサーバを用いて、環境間でGPUリソースを共有し、視覚的RLの高速サンプリングを可能にする。
• 動的プロセスを保持するために、コントローラ空間を横断するデモンストレーションアクションを変換するツールを提供する。

Figure 1: ManiSkill2 provides a unified, fast, and accessible system that encompasses well-curated manipulation tasks (e.g., stationary/mobile-base, single/dual-arm, rigid/soft-body).

実験結果

リサーチクエスチョン

• RQ1 統一されたベンチマークは、多様なタスクファミリやオブジェクトの変化を横断して、一般的・一般化可能な操作スキルの評価をどのようにサポートできるか？
• RQ2 操作のための単一の高忠実度リアルタイムシミュレーション環境における剛体とソフトボディダイナミクスを統合することの利点と課題は何か？
• RQ3 異なるコントローラとアクション空間表現が、操作タスクにおける学習・探索・sim2real転送にどのような影響を与えるか？
• RQ4 大規模デモンストレーションをコントローラ間で効果的に変換して、模倣学習と強化学習の広範な分析を可能にできるか？
• RQ5 高速ビジュアルRLパイプライン（非同期レンダリングとレンダサーバ）の、サンプルスループットとメモリ使用量への影響はどの程度か？

主な発見

• ManiSkill2 は、統一されたインターフェースで 20 のタスクファミリと 2000+ オブジェクト、4M+ デモンストレーションフレームをサポートします。
• 非同期レンダリングとレンダサーバを用いて高スループットの視覚RLを実現し、特定の設定下で 2000+ FPS を可能にします。
• ソフトボディのリアルタイムシミュレーションを、剛体シミュレータへの2方向結合で導入し、ロボットやアセットとの相互作用を可能にします。
• 行動追従学習は剛体タスクで性能が低いが、デモンストレーションを用いたRL（DAPG+PPO）は一部の剛体タスクで改善を示す。一方、高精度の組み立てタスクは依然として難問。
• ManiSkill2 で訓練された視覚RLポリシーは部分的な sim2real 転送の可能性を示し、実世界の PickCube は 10M タイムステップのシミュレーショントレーニング後に 60% の成功率を達成。
• マルチコントローラ変換システムは重要で、コントローラの種類を変更すると PickSingleYCB のようなタスクの成功率に大きな影響を与える。

Figure 2: Two pipelines for visual RL sample collection. (a) Sequential pipeline. (b) Our pipeline with asynchronous rendering and render server improves CPU utilization, reduces data transfer, and saves memory.