[論文レビュー] Multi-Goal Reinforcement Learning environments for simulated Franka Emika Panda robot.

Quentin Gallouédec, Nicolas Cazin+2 more|arXiv (Cornell University)|Jun 25, 2021

Reinforcement Learning in Robotics参考文献 9被引用数 5

ひとこと要約

本論文では、PyBullet および OpenAI Gym を使用して、Franka Emika Panda ロボット向けのオープンソース強化学習（RL）環境スイートである panda-gym を紹介する。5 つのマルチゴール RL タスク（到達、押す、滑らせる、持ち上げて置く、積み上げる）をサポートしており、最新のオフポリシー手法を用いた再現可能なベースラインを用いて、ゴール指向の RL アルゴリズムのベンチマークが可能である。

ABSTRACT

This technical report presents panda-gym, a set Reinforcement Learning (RL) environments for the Franka Emika Panda robot integrated with OpenAI Gym. Five tasks are included: reach, push, slide, pick & place and stack. They all follow a Multi-Goal RL framework, allowing to use goal-oriented RL algorithms. To foster open-research, we chose to use the open-source physics engine PyBullet. The implementation chosen for this package allows to define very easily new tasks or new robots. This report also presents a baseline of results obtained with state-of-the-art model-free off-policy algorithms. panda-gym is open-source at this https URL.

研究の動機と目的

• 実世界のロボットプラットフォーム上でマルチゴール強化学習アルゴリズムを訓練および評価するための標準化されたオープンソースプラットフォームを提供すること。
• モジュラー設計により、研究者が新しいタスクやロボットを簡単に拡張できるようにすること。
• シミュレートされたロボット操作タスクにおいて、最新のモデルフリー・オフポリシー RL アルゴリズムを用いて再現可能なベースライン結果を提供すること。
• オープンソースの PyBullet 物理エンジンおよび OpenAI Gym インターフェースとの統合を通じて、オープンな研究を促進すること。

提案手法

• 一貫したマルチゴール RL フレームワーク内に、到達、押す、滑らせる、持ち上げて置く、積み上げるの 5 つの多様な操作タスクを設計すること。
• 現実的な動的挙動と効率的なシミュレーションを保証するため、PyBullet 物理エンジンを用いて環境を実装すること。
• 既存の RL ライブラリーやアルゴリズムとのシームレスな互換性を確保するため、すべての環境を OpenAI Gym インターフェースに統合すること。
• マルチゴール RL 環境におけるゴール指向の学習を可能にするために、ゴール条件付きの観測空間と報酬空間を定義すること。
• SAC や TD3 などのオフポリシー深層 RL アルゴリズムを用いて各タスクで学習を行い、パフォーマンスベースラインを確立すること。
• 環境ロジックをコアシミュレーションおよび学習コンponentsから分離できるように、最小限のコード変更で新しいタスクやロボットを定義できるモジュラーなコードベースを提供すること。

実験結果

リサーチクエスチョン

• RQ1 最新のオフポリシー RL アルゴリズムは、報酬がスパarsなシミュレートされたロボット操作タスクのスイートにおいて、どの程度の性能を示すか？
• RQ2 統一的でモジュラーなフレームワークは、Franka Panda ロボット上で一貫したインターフェースとパフォーマンスを維持しながら、多様なマルチゴール RL タスクをサポートできるか？
• RQ3 panda-gym のオープンソース設計は、コミュニティの貢献や新しいタスク・ロボットへの拡張をどの程度促進できるか？
• RQ4 ゴール条件付き RL の設定下で、主なロボット操作タスクのベースラインパフォーマンス指標は何か？

主な発見

• panda-gym フレームワークは、一貫したインターフェースと報酬形状化を備えて、Franka Emika Panda ロボット上で 5 つの異なるマルチゴール RL タスクを成功裏に実装した。
• SAC や TD3 などのオフポリシーアルゴリズムを用いたベースライン結果は、すべてのタスクで安定した学習と収束を示しており、フレームワークがベンチマークに適していることを示している。
• モジュラー設計により、環境ロジックをコアシミュレーションおよび学習コンponentsから分離できるため、新しいタスクやロボットへの容易な拡張が可能である。
• PyBullet および OpenAI Gym との統合により、高いパフォーマンスと既存の RL 研究パイプラインとの広範な互換性が確保されている。
• 提供された URL でのオープンソースリリースにより、再現可能性が確保され、新しいタスクやアルゴリズムのコミュニティ主導の開発が可能である。
• フレームワークは報酬がスパarsな設定をサポートしており、現実的なロボット制御シナリオにおけるサンプル効率の良いゴール条件付き RL アルゴリズムの評価が可能である。