[論文レビュー] DextER: Language-driven Dexterous Grasp Generation with Embodied Reasoning
DextER は言語駆動の巧妙な把持生成に対して触覚ベースの embodiment 推論を導入し、まず手リンクと物体表面の接触点を予測し、次に最終把持を生成する。これにより最先端の性能と制御可能な生成を実現。
Language-driven dexterous grasp generation requires the models to understand task semantics, 3D geometry, and complex hand-object interactions. While vision-language models have been applied to this problem, existing approaches directly map observations to grasp parameters without intermediate reasoning about physical interactions. We present DextER, Dexterous Grasp Generation with Embodied Reasoning, which introduces contact-based embodied reasoning for multi-finger manipulation. Our key insight is that predicting which hand links contact where on the object surface provides an embodiment-aware intermediate representation bridging task semantics with physical constraints. DextER autoregressively generates embodied contact tokens specifying which finger links contact where on the object surface, followed by grasp tokens encoding the hand configuration. On DexGYS, DextER achieves 67.14% success rate, outperforming state-of-the-art by 3.83%p with 96.4% improvement in intention alignment. We also demonstrate steerable generation through partial contact specification, providing fine-grained control over grasp synthesis.
研究の動機と目的
- Task semantics と physical interaction priors を統合した言語条件付き巧妙な把持生成を動機づける。
- 把持構成の前に手と物体の接触を予測する embodiment 推論フレームワークを提案する。
- 物理ベースの接触注釈を持つ大規模データセット(DexGYS、Dexonomy)を用いて接触認識モデルを訓練する。
- 視覚言語行動フレームワーク内で離散的な接触トークンと把持トークンを自己回帰的に生成する。
- 部分的な接触指定による steerable な生成が、グリップ品質を維持しつつ細粒度の制御を提供することを示す。
提案手法
- 把持生成を p(a, C | P, T) と表現する。ここで C は接触トークン、a は把持トークン。
- 三要素モデルを用いる:3D 視覚エンコーダ(PartField)、マルチモーダル・プロジェクター、LLM ボトネック(Qwen 系列)を用いて P と T を共同エンコードし、接触トークンを自己回帰的に生成してから把持トークンを生成する。
- 事物の幾何を事前学習済み PartField エンコーダでエンコードし、特徴を LLMSpace に射影する。
- 連続的な把持パラメータをアクショントークンへ離散化し、自己回帰デコードのために sequences に action_start および action_end トークンを付与する。
- 接触をリンクトークンの列と離散化された 3D 位置トークンの wrapper(contact_start / contact_end)として表現する。
- 完全なシーケンス上で次トークン予測で訓練し、ハイブリッド・アテンションパターン(点群には双方向、テキスト/アクションには因果的)と接触位置のドロップアウトによる正則化を用いる。
- DexGYS と Dexonomy に対して物理ベースの接触データを MuJoCo で注釈し、Dexonomy には VLM を用いた言語記述を生成する。
実験結果
リサーチクエスチョン
- RQ1Explicit な接触ベース embodiment 推論は、言語指示と物理的に実現可能な巧妙な把持の整合を改善するか?
- RQ2把持構成の前に接触パターンを予測する方が、エンドツーエンド手法より安定性と意図整合を高めるか?
- RQ3部分的な接触指定による steerable な生成は、制御と生成物の品質にどのような影響を与えるか?
- RQ4未知の物体や把持分類に対する接触認識を用いた言語条件付き把持の一般化性能はどうなるか?
主な発見
- DextER は DexGYS で 67.14% の把持成功率を達成し、従来の最先端を 3.83 ポイント上回った。
- DextER は DexGYS で前回の最良手法と比較して意図整合(P-FID)を相対的に 96.4% 向上させた。
- 明示的な embodiment 接触推論(ER)は重要であり、これを除くと P-FID が 0.20 から 0.30 に、成功率が 67.14% から 62.37% に低下した。
- 部分的接触制約を用いた steerable な生成は、把持合成を指示しつつ高い把持品質を維持することを可能にする。
- DextER は Dexonomy で seen/unseen object および taxonomies で強いゼロショット一般化を示し、 unseen object で unseen taxonomy よりも良い性能を示した。
- モデルは自己回帰的なマルチモーダル token フレームワークにより、生成される把持の多様性、特に回転空間で高い傾向を示す。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。