[論文レビュー] DexVIP: Learning Dexterous Grasping with Human Hand Pose Priors from Video

Priyanka Mandikal, Kristen Grauman|arXiv (Cornell University)|Jan 31, 2022

Robot Manipulation and Learning被引用数 12

ひとこと要約

DexVIP は、実世界の YouTube ビデオから抽出した人間の手のポーズ事前知識を活用して、深層強化学習エージェントにより人間らしい手のポーズとアフォーダンスに配慮したグリッピングを報酬とすることで、器用なロボットグリッピングを学習する。本手法は ContactDB で 68% の成功を達成し、従来手法よりも 20% 速く学習が可能であり、ラボベースのデモを必要とせずに新しい物体へも効率的にスケーリングできる。

ABSTRACT

Dexterous multi-fingered robotic hands have a formidable action space, yet their morphological similarity to the human hand holds immense potential to accelerate robot learning. We propose DexVIP, an approach to learn dexterous robotic grasping from human-object interactions present in in-the-wild YouTube videos. We do this by curating grasp images from human-object interaction videos and imposing a prior over the agent's hand pose when learning to grasp with deep reinforcement learning. A key advantage of our method is that the learned policy is able to leverage free-form in-the-wild visual data. As a result, it can easily scale to new objects, and it sidesteps the standard practice of collecting human demonstrations in a lab -- a much more expensive and indirect way to capture human expertise. Through experiments on 27 objects with a 30-DoF simulated robot hand, we demonstrate that DexVIP compares favorably to existing approaches that lack a hand pose prior or rely on specialized tele-operation equipment to obtain human demonstrations, while also being faster to train. Project page: https://vision.cs.utexas.edu/projects/dexvip-dexterous-grasp-pose-prior

研究の動機と目的

• 高価で専用のラボベースの人的デモに依存せずに、器用なロボットグリッピングを可能にすること。
• 非構造的なインターネット動画データから学習することで、ロボット操作におけるサンプル効率と一般化性能を向上させること。
• 非構造的なインターネット動画から抽出した人間の手のポーズ事前知識を活用し、シミュレーション内でのポリシー学習をガイドすること。
• 新しい物体にグリッピングポリシーをスケーリングするために必要な時間とオーバーヘッドを削減すること。
• ノイズの多いセンシングやアクチュエーション条件下でも良好に一般化できる手法を開発すること。

提案手法

• 最先端のコンピュータビジョンモデルを用いて、YouTube のハウツー動画の選別されたフレームから 3D 手のポーズを抽出する。
• グリッピング成功、アフォーダンス領域予測、人間のポーズとの類似性を組み合わせた報酬関数を用いて、シミュレーション内での深層強化学習エージェントを訓練する。
• マルチコンポonent報酬を適用：R = R_grasp + λ1·R_touch + λ2·R_pose、ここで R_pose は観察された人間の手のポーズからの逸脱をペナルティとする。
• 画像ベースのアフォーダンス予測を組み込み、エージェントが機能的に有用なグリッピング領域へ向かうように誘導する。
• ノイズ増幅（プロ prioception、オブジェクト追跡、アクチュエーション、ピクセルの摂動にガウスノイズを適用）を適用し、耐性を向上させる。
• VR やモーショントラッキング、キネスティック遠隔操作を必要としないように、27 個のオブジェクトのデータセットをキュレートする。

実験結果

リサーチクエスチョン

• RQ1 非構造的な YouTube ビデオからの視覚的データのみを用いて、器用なグリッピングポリシーを効果的に訓練できるか？
• RQ2 現実世界の相互作用から抽出した人間の手のポーズ事前知識を学習に活用することで、標準的な強化学習ベースラインと比較してサンプル効率と性能が向上するか？
• RQ3 新しいオブジェクトにスケーリングする際、新たなエキスパートデモを必要とせずに本手法はどのように機能するか？
• RQ4 ノイズの多いセンシングおよびアクチュエーション条件下でもポリシーが一般化できるか？これは実世界への展開可能性を示唆する。
• RQ5 従来の遠隔操作と比較して、動画ベースの監視による性能は、学習速度と成功確率の観点でどのように異なるか？

主な発見

• DexVIP は ContactDB ベンチマークで 68% のグリッピング成功を達成し、手のポーズ事前知識を活用しない手法を上回った。
• ポーズ事前知識によるサンプル効率の向上のおかげで、次善のベースラインである GRAFF よりも 20% 速く学習が可能となった。
• モーショントラッキングデモを必要としない 11 個の ContactDB 外のオブジェクトにおいて、DexVIP は 65% の成功（68% から 4% の低下）を維持したが、DAPG は 15% 減少（59% から 50%）した。
• 報酬に手のポーズ事前知識を追加することで、アフォーダンス報酬のみのモデル（60% 成功）から、全モデル（68% 成功）に向上し、事前知識の有効性が示された。
• 重度のノイズ（センシングおよびアクチュエーション）条件下でも、DexVIP は 64% の成功を達成し、ノイズなしのベースラインを上回った。これは耐性の高さを示している。
• 動画ベースのデータキュレーティングは、1オブジェクトあたり数秒で可能であり、遠隔操作のデモに比べて約 5 分/デモ に比べて、新しいオブジェクトへのスケーリングを迅速に可能にした。