[論文レビュー] RoboHive: A Unified Framework for Robot Learning

Vikas Kumar, Rutav Shah+6 more|arXiv (Cornell University)|Oct 10, 2023

Robot Manipulation and LearningEngineering被引用数 3

ひとこと要約

RoboHive は、高い物理フィジックスの正確さと視覚的多様性を備えた、多様なシミュレーテッド環境および実世界の環境を統合するオープンソースで統合的なフレームワークです。標準化された gym に似た API、一貫した RobotClass を用いたハードウェア抽象化、遠隔操作のサポート、エキスパートデモンストレーション（RoboSet）、包括的なベースラインを提供し、シミュレーションから現実への移行をスムーズにし、模倣学習、強化学習、マルチタスク学習分野における研究を加速します。

ABSTRACT

We present RoboHive, a comprehensive software platform and ecosystem for research in the field of Robot Learning and Embodied Artificial Intelligence. Our platform encompasses a diverse range of pre-existing and novel environments, including dexterous manipulation with the Shadow Hand, whole-arm manipulation tasks with Franka and Fetch robots, quadruped locomotion, among others. Included environments are organized within and cover multiple domains such as hand manipulation, locomotion, multi-task, multi-agent, muscles, etc. In comparison to prior works, RoboHive offers a streamlined and unified task interface taking dependency on only a minimal set of well-maintained packages, features tasks with high physics fidelity and rich visual diversity, and supports common hardware drivers for real-world deployment. The unified interface of RoboHive offers a convenient and accessible abstraction for algorithmic research in imitation, reinforcement, multi-task, and hierarchical learning. Furthermore, RoboHive includes expert demonstrations and baseline results for most environments, providing a standard for benchmarking and comparisons. Details: https://sites.google.com/view/robohive

研究の動機と目的

• ロボット学習ソフトウェアの散在した状況に対処するため、多様な環境、アルゴリズム、ハードウェアインターフェースを1つの保守可能なエコシステムに統合すること。
• 研究者にとっての参入障壁を下げるために、一貫性がありアクセス可能な API と、シミュレーションおよび実世界デプロイメントの即時サポートを提供すること。
• 標準化されたメトリクス、エキスパートデモンストレーション（RoboSet）、複数のタスクファミリーにわたるベースライン結果を通じて、強固なベンチマークを可能にすること。
• 高い物理フィジックスの正確さと豊かな視覚的多様性を強調することで、視覚的一般化と現実世界への移行を支援すること。
• バージョン管理されたリリース、CI テスティング、および包括的なドキュメンテーションを通じて、再現可能性とコミュニティ主導の開発を促進すること。

提案手法

• フレームワークは、シミュレーテッドおよび物理的ロボットを抽象化する統合された RobotClass 抽象化を導入し、1つの設定フラグでシミュレーションから現実への移行をスムーズに可能にします。
• 高い物理フィジックスの正確さのシミュレーションには MuJoCo を活用し、視覚的多様性を高めるために豊富なビジュアルアセット、テクスチャ、シーン構成を統合しています。
• キーボード、スペースマウス、VR コントローラーをネイティブにサポートすることで、遠隔操作による人間によるアノテーション付きエキスパートデモンストレーション（RoboSet）の収集が可能になり、模倣学習が可能になります。
• 強化学習および模倣学習アルゴリズムとの統合を可能にする gym に似た API を提供し、TorchRL や mjRL などの既存の RL ライブラリとの互換性を確保しています。
• 視覚ドメインランダマイゼーションとシーンレイアウトランダマイゼーションが、主要な環境でネイティブにサポートされており、視覚的変動に対する耐性を高めています。
• すべての環境がバージョン管理されており、継続的インテグレーションを経て、ソフトウェアリリース間での信頼性と再現可能性を保証しています。

Figure 1: A subset of RoboHive ’s task-suites. [in clockwise order] Multi-Task Suite : Environments facilitating multiple tasks at once. Arms Suite : Diverse arms (w/ grippers) exposed to tabletop manipulation tasks. Hand Suite : Diverse hands exposed to tasks requiring dexterity. Locomotion Suite :

実験結果

リサーチクエスチョン

• RQ1 統合されたソフトウェアフレームワークは、多様なタスクとハードウェアにおいて、ロボット学習アルゴリズムの開発とベンチマークをどのように簡素化できるか？
• RQ2 シミュレーテッド環境における高い視覚的および物理的正確さは、ポリシーの一般化と現実世界への移行をどの程度向上させるか？
• RQ3 標準化され、アクセス可能なインターフェースは、模倣学習、マルチタスク学習、階層的強化学習分野における研究をどの程度加速できるか？
• RQ4 遠隔操作による収集されたエキスパートデモンストレーションは、複雑な操作および歩行タスクにおいて、どの程度のサンプル効率の学習を可能にするか？
• RQ5 視覚的多様性とドメインランダマイゼーションは、視覚ベースの制御ポリシーの耐性にどのような影響を与えるか？

主な発見

• RoboHive は、操作、歩行、器用なハンド制御、筋骨格的エージェント、変形可能な物体を含む幅広いタスクをサポートしており、高物理正確さを実現する MuJoCo を基盤としています。
• 統合された RobotClass 抽象化により、1つのフラグ変更でシミュレーションから現実への移行がスムーズに行えるようになり、デプロイメントのオーバーヘッドが顕著に低減されています。
• 12のキッチンスキルを含む大規模な人間による遠隔操作データセットである RoboSet はオープンソース化されており、オフライン学習および模倣学習の研究を支援しています。
• 一般的に使われるアルゴリズムのベースラインが提供され、バージョニングされており、リリース間でのパフォーマンス追跡により再現性が保たれ、レgressions の検出が可能になっています。
• 実験の結果、歩行タスク（例：ROBEL と D’Kitty）において、視覚表現はプロピrioceptive 僅どのベースラインに劣ることが判明し、視覚一般化の課題が浮き彫りになりました。
• 器用な操作（例：Pen、Relocate）において、25件のデモンストレーションでのみの行動クラッシングは困難であることが示され、限られたエキスパートデータから多次元の行動分布を学習することは難しいことが強調されました。

Figure 2: RoboHive presents environments with rich visual diversity to aid research in visual generalization and places high emphasis on physical realism to facilitate the real-world transfer.