[論文レビュー] Learning to Grasp the Ungraspable with Emergent Extrinsic Dexterity

Wenxuan Zhou, David Held|arXiv (Cornell University)|Nov 2, 2022

Robot Manipulation and Learning被引用数 8

ひとこと要約

本論文では、外部の環境（例：壁やテーブル）を活用して物体を再配置することで、簡単な並進グリッパーが「遮蔽された grasping（遮蔽 grasping）」を達成できるようにする強化学習（RL）ベースのシステムを提示する。ポリシーは、自動ドメインランダマイゼーションを用いたシミュレーションで訓練され、タスク固有のプリミティブや接触報酬項を一切使用せず、物理的ロボット上で78％の成功を達成した。これは、ゼロショット sim2real 移行と強力な一般化性能を示している。

ABSTRACT

A simple gripper can solve more complex manipulation tasks if it can utilize the external environment such as pushing the object against the table or a vertical wall, known as "Extrinsic Dexterity." Previous work in extrinsic dexterity usually has careful assumptions about contacts which impose restrictions on robot design, robot motions, and the variations of the physical parameters. In this work, we develop a system based on reinforcement learning (RL) to address these limitations. We study the task of "Occluded Grasping" which aims to grasp the object in configurations that are initially occluded; the robot needs to move the object into a configuration from which these grasps can be achieved. We present a system with model-free RL that successfully achieves this task using a simple gripper with extrinsic dexterity. The policy learns emergent behaviors of pushing the object against the wall to rotate and then grasp it without additional reward terms on extrinsic dexterity. We discuss important components of the system including the design of the RL problem, multi-grasp training and selection, and policy generalization with automatic curriculum. Most importantly, the policy trained in simulation is zero-shot transferred to a physical robot. It demonstrates dynamic and contact-rich motions with a simple gripper that generalizes across objects with various size, density, surface friction, and shape with a 78% success rate. Videos can be found at https://sites.google.com/view/grasp-ungraspable/.

研究の動機と目的

• 環境との相互作用を活用することで、簡単なグリッパーが遮蔽された grasping などの複雑な操作タスクを実行できるようにすること。
• 従来の外部柔軟性手法が直感的な運動設計や接触仮定、特定のグリッパー設計に依存するという限界を克服すること。
• モデルフリー RL を用いて、外部柔軟性のための明示的報酬形状を施さずに、出現的行動を学習する接触豊富な一般化可能なポリシーを開発すること。
• 物理的ロボット上で接触豊富で動的な操作タスクに対して、強力なゼロショット sim2real 移行を達成すること。
• サイズ、形状、密度、表面摩擦が異なる物体に対して、一般化性能を示すこと。

提案手法

• モデルフリーの深層強化学習ポリシーをシミュレーションで訓練し、簡単な並進グリッパーを用いて遮蔽 grasping タスクを解く。
• 報酬関数は、計画段階と制御段階を分離せずに、事前 grasping 動作と grasping を最適化する。
• マルチグリップトレーニングカリキュラムと推論時のグリップ選択手順により、ポリシーのロバスト性と成功率を向上させる。
• 物理的パラメータ（例：質量、摩擦）に対して自動ドメインランダマイゼーション（ADR）を適用し、現実世界のばらつきや接触ダイナミクスへの耐性を高める。
• コンプライアンス性の高い低レベルコントローラーにより、環境との安定した相互作用が可能となり、出現的外部柔軟性行動を支援する。
• ドメインランダマイゼーションによる sim2real 一般化を活用し、ファインチューニングなしに、同じポリシーを物理的ロボットにゼロショットで展開する。

実験結果

リサーチクエスチョン

• RQ1 タスク固有のプリミティブや接触仮定なしに、簡単なグリッパーが外部柔軟性を活用して遮蔽 grasping を達成できるか？
• RQ2 モデルフリー RL は、壁押しや物体回転といった出現的で接触豊富な操作行動を学習するのにどの程度有効か？
• RQ3 ボックス型の物体で訓練されたポリシーが、実世界で分布外の形状（例：ボトル、容器、おもちゃの袋）にどの程度一般化できるか？
• RQ4 自動ドメインランダマイゼーションは、接触豊富なポリシーに対するゼロショット sim2real 移行をどのように支援するか？
• RQ5 明示的な報酬形状なしに、状態に応じて「落とす」戦略と「立てる」戦略を切り替えることができるポリシーは、1つのポリシーで学習可能か？

主な発見

• 自動ドメインランダマイゼーション（ADR）を適用したポリシーは、実ロボットで78％の成功率を達成したのに対し、ADR を適用しない場合はたった33％にとどまり、ADR がロバスト性の鍵を握っていることが示された。
• 外部柔軟性のための明示的報酬なしに、壁に物体を押し当てて再配置し、 grasping を可能にする動的で接触豊富な行動を正常に実行した。
• トレーニング分布外の物体（ボトル、容器、おもちゃの袋など）に対しても一般化でき、ボトルでは8/10、逆向きの初期姿勢の容器では10/10の成功率を達成した。
• 明示的にどちらの戦略を学習させなかったにもかかわらず、状態に応じて「落とす」と「立てる」戦略を切り替える出現的行動を示した。
• 同じポリシーをファインチューニングなしに実ロボットに展開したため、ゼロショット sim2real 移行が成功した。ドメインランダマイゼーションの有効性が裏付けられた。
• 質量（128g から 345g）、形状、表面摩擦が異なる物体に対しても、78％の高い成功率を維持した。これは、強力な一般化能力を示している。