[論文レビュー] Towards Human-Level Bimanual Dexterous Manipulation with Reinforcement Learning

Yuanpei Chen, Tianhao Wu+9 more|arXiv (Cornell University)|Jun 17, 2022

Reinforcement Learning in Robotics被引用数 29

ひとこと要約

本論文は Bi-DexHands を導入する。Isaac Gym で構築された二手の高度な操作ベンチマークであり、20 を超えるタスク上で複数の RL 定式化（single-agent、MARL、offline、multi-task、meta）を評価して人間レベルの両手操作性を測定する。PPO ベースの手法が単純なタスクで最も強力であることを強調し、マルチタスクと少数ショット一般化の課題を指摘する。

ABSTRACT

Achieving human-level dexterity is an important open problem in robotics. However, tasks of dexterous hand manipulation, even at the baby level, are challenging to solve through reinforcement learning (RL). The difficulty lies in the high degrees of freedom and the required cooperation among heterogeneous agents (e.g., joints of fingers). In this study, we propose the Bimanual Dexterous Hands Benchmark (Bi-DexHands), a simulator that involves two dexterous hands with tens of bimanual manipulation tasks and thousands of target objects. Specifically, tasks in Bi-DexHands are designed to match different levels of human motor skills according to cognitive science literature. We built Bi-DexHands in the Issac Gym; this enables highly efficient RL training, reaching 30,000+ FPS by only one single NVIDIA RTX 3090. We provide a comprehensive benchmark for popular RL algorithms under different settings; this includes Single-agent/Multi-agent RL, Offline RL, Multi-task RL, and Meta RL. Our results show that the PPO type of on-policy algorithms can master simple manipulation tasks that are equivalent up to 48-month human babies (e.g., catching a flying object, opening a bottle), while multi-agent RL can further help to master manipulations that require skilled bimanual cooperation (e.g., lifting a pot, stacking blocks). Despite the success on each single task, when it comes to acquiring multiple manipulation skills, existing RL algorithms fail to work in most of the multi-task and the few-shot learning settings, which calls for more substantial development from the RL community. Our project is open sourced at https://github.com/PKU-MARL/DexterousHands.

研究の動機と目的

• Shadow Hands を用いて、拡張性が高く高忠実度の両手操作ベンチマークを設計・提供する。
• 多様なタスクで、広範な RL 定式化（single-agent、MARL、offline RL、multi-task RL、meta-RL）を評価する。
• 高精度な操作タスクにおける一般化、マルチタスク学習、Few-shot 適応を分析する。
• 認知・スキルを意識したベンチマーク作成を導くため、課題の難易度を人間の運動発達に関連づける。

提案手法

• Isaac Gym の Two Shadow Hands は、マルチエージェント設定と単一エージェント設定のための分散型部分観測可能マルディーピー (Dec-POMDP) を形成する。
• YCB および SAPIEN のオブジェクトを用いたデータセットとタスクスイートを提供し、多様なシーンを作成する。
• タスクを infant Fine Motor Subtest (FMS) の年齢に対応づけて、難易度を構造化する（easy/medium/hard）。
• 20 タスクに渡って、On-policy の PPO ベース手法（PPO、HAPPO/HATRPO）と MARL 手法（MAPPO、IPPO、MADDPG）をベンチマークする。
• オフライン RL のベースライン（BC、BCQ、TD3+BC、IQL）を、random、replay、medium、medium-expert のデータセットとともに含める。
• タスクID条件付けとメタ学習目的を用いて、マルチタスクおよびメタRL（MT1/ML1、MT4/ML4、MT20/ML20）を探索する。

実験結果

リサーチクエスチョン

• RQ1 標準的および拡張 RL アルゴリズムは、広範なタスク集合にわたって人間のような両手操作性を学習できるか。
• RQ2 手の協調を必要とするタスクにおいて、single-agent と multi-agent RL はどのように比較されるか。
• RQ3 オフライン、マルチタスク、メタRL が、両手の操作における性能と一般化に与える影響は何か。
• RQ4 人間の運動発達に触発された課題難易度が、年齢を模したタスクでの RL パフォーマンスとどのように相関するか。
• RQ5 現実のロボットや変形可能な物体へ習得したスキルを移行する際の限界と今後の方向性は何か。

主な発見

• PPOベースのon-policy手法は、多くのタスクで高いパフォーマンスを達成し、単純な両手操作スキルも含む。
• マルチエージェント RL は、協調した両手の協力を要するタスクで性能が向上し、難易度の高いタスクにおいて PPO との差を埋める。
• SAC はこの設定では多くのタスクで性能が低く、オフポリシーの不安定性と高次元入力が原因と推測される。
• オフライン RL の結果は、分布外アクションによる価値誤差を明らかにし、Bi-DexHands を挑戦的なオフラインベンチマークとして浮き彫りにする。
• マルチタスク／メタ-RL でのタスク間一般化は一貫して成功しておらず、アルゴリズム開発の余地が大きい。
• タスクの年齢が高くなるほど（ harder タスク）、RL の性能は一般に低下し、人間の運動発達に基づく設計難易度との合理的な整合を反映している。