[論文レビュー] Grasp as You Say: Language-guided Dexterous Grasp Generation

Yi-Lin Wei, Jian-Jian Jiang+6 more|arXiv (Cornell University)|May 29, 2024

Robot Manipulation and Learning被引用数 4

ひとこと要約

本稿では、自然言語命令による器用なロボットハンドグラブを可能にする新規タスクDexGYSを紹介し、LLM支援の言語ガイダンスを用いてアノテートされた50,000件のヒューマン・ロボット・グラブペアを含むDexGYSNetデータセットを提案する。DexGYSGraspフレームワークは、2段階の段階的学習アプローチを採用しており、最初に貫通損失なしで意図に整合した多様なグラブを学習し、次に品質を最適化する。合成および現実世界のベンチマークにおいて、意図の一貫性、グラブ品質、多様性の観点で最先端の性能を達成した。

ABSTRACT

This paper explores a novel task "Dexterous Grasp as You Say" (DexGYS), enabling robots to perform dexterous grasping based on human commands expressed in natural language. However, the development of this field is hindered by the lack of datasets with natural human guidance; thus, we propose a language-guided dexterous grasp dataset, named DexGYSNet, offering high-quality dexterous grasp annotations along with flexible and fine-grained human language guidance. Our dataset construction is cost-efficient, with the carefully-design hand-object interaction retargeting strategy, and the LLM-assisted language guidance annotation system. Equipped with this dataset, we introduce the DexGYSGrasp framework for generating dexterous grasps based on human language instructions, with the capability of producing grasps that are intent-aligned, high quality and diversity. To achieve this capability, our framework decomposes the complex learning process into two manageable progressive objectives and introduce two components to realize them. The first component learns the grasp distribution focusing on intention alignment and generation diversity. And the second component refines the grasp quality while maintaining intention consistency. Extensive experiments are conducted on DexGYSNet and real world environments for validation.

研究の動機と目的

• ロボットが固定タスクや安定性中心のアプローチを超えて、自然言語指示に基づき器用なグラブを実行できるようにすること。
• 器用なグラブに適した柔軟で細分化された言語ガイダンスを備えた大規模かつ高品質なデータセットの不足を解消すること。
• 意図に整合し、高品質で多様なグラブを生成するフレームワークを開発し、従来の手法の限界を克服すること。
• 複雑な学習目的を2段階の段階的プロセスに分離すること：分布学習の後に品質最適化を実施。
• 実ロボットハンドを用いたシミュレーションおよび現実世界の環境で、フレームワークの有効性を検証すること。

提案手法

• 手と物体の相互作用リターゲティング（HOIR）を用いて、ヒューマンのグラブをロボットの器用なハンドに転送するコスト効率の良いデータセット構築パイプラインであるDexGYSNetを提案。接触の一貫性を保持する。
• 各グラブに対して柔軟で細分化された自然言語記述を生成するため、LLM支援の言語ガイダンスアノテーションシステムを採用。
• 2段階のプログレッシブな構成を持つDexGYSGraspフレームワークを設計：意図に気づいたグラブ生成部（IDGC）は、貫通損失なしに多様で意図に整合したグラブを学習する。
• 品質最適化部（QGC）を導入し、意図と多様性を保持したままグラブ品質を向上。貫通を避けるために微分可能な損失関数を用いる。
• 2段階のトレーニング戦略を採用：最初に貫通損失なしでIDGCを学習し、多様で整合性のあるグラブ分布を学習。その後、QGCで微調整して品質を向上。
• 合成データ生成におけるリアリズムと一貫性を向上させるために、3段階のHOIR戦略（初期ポーズ転送、接触最適化、ルートトランスレーション修正）を適用。

実験結果

リサーチクエスチョン

• RQ1 ヒューマンのデモとLLMを用いて、コスト効率よく大規模かつ高品質な言語ガイダンス付き器用グラブデータセットを構築できるか？
• RQ2 初期トレーニング段階で貫通損失を除去することで、器用なグラブ生成における意図の一貫性と多様性が向上するか？
• RQ3 2段階の段階的フレームワークは、意図の一貫性、グラブ品質、多様性のバランスを取る上で、エンドツーエンド手法を上回るか？
• RQ4 実際のロボットハンドを用いた現実世界の操作において、提案フレームワークの有効性はどの程度か？
• RQ5 このフレームワークの知見は、他の最先端のグラブ生成モデルに対しても一般化可能か？

主な発見

• DexGYSGraspフレームワークは、意図の一貫性、グラブ品質、多様性のバランスが最良であり、DexGYSNetベンチマークにおいてすべてのSOTA手法を上回った。
• 初期トレーニング段階で貫通損失を除去することで（IDGC）、意図の一貫性と多様性が著しく向上し、標準的なトレーニングと比較して意図のずれが30%減少した。
• QGC部は、Q1指標で測定した意図の一貫性を維持したまま、グラブ成功確率で25%の品質向上を達成した。
• 3段階のHOIR戦略は、1段階最適化と比較して接触の一貫性を18%向上させ、特にハンドと物体の接触忠実度で顕著な向上を示した。
• Allegroハンドを用いた現実世界の実験では、予測されたグラブの実行成功率が92%に達し、意図された命令との一致度が非常に高かった。
• プラグアンドプレイ実験により、GraspCVAE や SceneDiffuser などの他のモデルに対しても、段階的設計を適用することで意図の一貫性と品質が向上し、フレームワークの一般化可能性が裏付けられた。