[論文レビュー] Learning Robust Real-World Dexterous Grasping Policies via Implicit Shape Augmentation

Zoey Qiuyu Chen, Karl Van Wyk+5 more|arXiv (Cornell University)|Oct 24, 2022

Robot Manipulation and Learning被引用数 5

ひとこと要約

本論文では、対応関係に配慮した暗黙的生成モデルを用いて、少数の人の grasping デモンストレーションを拡張し、多様で現実的である新しい物体形状とそれに応じた成功した grasping を持つデータセットを生成する ISAGrasp を提案する。潜在空間における物体メッシュと grasping の変形により、4本指の Allegro ハンドを用いて未学習の現実世界の物体で79%の成功を達成する、きめ細かい grasping ポリシーの教師あり学習が可能になる。

ABSTRACT

Dexterous robotic hands have the capability to interact with a wide variety of household objects to perform tasks like grasping. However, learning robust real world grasping policies for arbitrary objects has proven challenging due to the difficulty of generating high quality training data. In this work, we propose a learning system (ISAGrasp) for leveraging a small number of human demonstrations to bootstrap the generation of a much larger dataset containing successful grasps on a variety of novel objects. Our key insight is to use a correspondence-aware implicit generative model to deform object meshes and demonstrated human grasps in order to generate a diverse dataset of novel objects and successful grasps for supervised learning, while maintaining semantic realism. We use this dataset to train a robust grasping policy in simulation which can be deployed in the real world. We demonstrate grasping performance with a four-fingered Allegro hand in both simulation and the real world, and show this method can handle entirely new semantic classes and achieve a 79% success rate on grasping unseen objects in the real world.

研究の動機と目的

• 少数の人のデモンストレーションデータしか入手できない現実世界において、頑健で一般化可能なきめ細かい grasping ポリシーを学習する課題に対処すること。
• 少数のエキスパートデモンストレーションから、多数の多様で意味的に現実的な新しい物体形状と成功した grasping を持つデータセットを生成すること。
• 点群ベースの grasping ポリシーを教師あり学習により訓練し、未学習の物体カテゴリーや現実世界のダイナミクスに一般化させること。
• データ拡張として暗黙的形状変形を活用することで、既知の物体カテゴリーよりも広い一般化を実現すること。

提案手法

• 対応関係に配慮した暗黙的生成モデル（DIF-Net）を用いて、学習された潜在空間において3次元物体メッシュとそれに応じた人の grasping を変形し、新しい現実的な物体形状と grasping のペアを生成する。
• 本手法は、暗黙的3次元表現における形状変形を実行し、意味的な構造を保持しながら多様で妥当な物体の変種を可能にする。
• 変形された物体の grasping は、再帰的サンプリングにより精錬され、シミュレーション内での動的整合性と成功確率を確保する。
• 点群からの事前 grasping 姿勢と最終 grasping 姿勢を予測するポリシーを、拡張されたデータセットを用いて教師あり学習により訓練する。
• リアルタイムの点群入力を用いて、シミュレーションおよび現実世界の環境で4本指の Allegro ハンドにポリシーをデプロイする。

実験結果

リサーチクエスチョン

• RQ1 少数の人のデモンストレーションから、暗黙的形状変形を用いて多様で意味的に現実的な物体形状とそれに応じた成功した grasping を生成できるか？
• RQ2 このような拡張されたデータセットで訓練されたポリシーは、シミュレーションおよび現実世界でのデプロイにおいて、未学習の新しい物体カテゴリに一般化できるか？
• RQ3 実世界での一般化性と成功率という観点から、他のデータ拡張法や模倣学習手法と比較して、暗黙的形状拡張はどのように優れているか？
• RQ4 極端な形状、スケール、または grasping の要件を持つ物体に適用した場合、本手法の失敗モードや制限は何か？

主な発見

• ISAGrasp パイプラインは、22種類の未学習の現実世界の物体で79%の成功率を達成し、新しい物体カテゴリへの強い一般化能力を示した。
• 本手法は、元の人のデモンストレーションの暗黙的変形により、多様な新しい物体形状とそれに応じた grasping を効果的に生成した。
• アブレーションスタディにより、ベースラインのデータ拡張や非拡張の模倣学習と比較して、暗黙的形状拡張がポリシーの一般化を顕著に向上させることを確認した。
• ポリシーは、シミュレーションおよび現実世界のテストにおいて、YCB、ShapeNet、GoogleScans といった複数の物体カテゴリにわたり、効果的に一般化した。
• 失敗事例は主に非常に大きい、平らな、または極端に非対称な物体（例：クレッパーの箱、はさみ、アヒル）で観察され、スケールや形状への感受性が顕在化した。