[论文解读] DextER: Language-driven Dexterous Grasp Generation with Embodied Reasoning
DextER 引入基于接触的具身推理来驱动语言导向的灵巧抓取生成,先预测手部链接与对象表面之间的接触点,然后生成最后的抓取姿态,实现了最先进的性能和可控生成。
Language-driven dexterous grasp generation requires the models to understand task semantics, 3D geometry, and complex hand-object interactions. While vision-language models have been applied to this problem, existing approaches directly map observations to grasp parameters without intermediate reasoning about physical interactions. We present DextER, Dexterous Grasp Generation with Embodied Reasoning, which introduces contact-based embodied reasoning for multi-finger manipulation. Our key insight is that predicting which hand links contact where on the object surface provides an embodiment-aware intermediate representation bridging task semantics with physical constraints. DextER autoregressively generates embodied contact tokens specifying which finger links contact where on the object surface, followed by grasp tokens encoding the hand configuration. On DexGYS, DextER achieves 67.14% success rate, outperforming state-of-the-art by 3.83%p with 96.4% improvement in intention alignment. We also demonstrate steerable generation through partial contact specification, providing fine-grained control over grasp synthesis.
研究动机与目标
- 为将任务语义与物理交互先验整合的语言条件下的灵巧抓取生成提供动力。
- 提出一个具身推理框架,在抓取配置之前预测手-物体接触。
- 利用带有物理接触注释的大规模数据集(DexGYS、Dexonomy)训练具备接触感知的模型。
- 展示在一个视觉-语言-动作框架内对离散接触和抓取令牌的自回归生成。
- 证明通过部分接触规定实现的可控生成在保持抓取质量的同时提供细粒度控制。
提出的方法
- 将抓取生成表示为 p(a, C | P, T),其中 C 是接触令牌,a 是抓取令牌。
- 使用三段式模型:3D 视觉编码器(PartField),多模态投影器,以及 LLM 主干(Qwen 系列),联合编码 P 和 T,并自回归生成接触令牌然后抓取令牌。
- 使用预训练的 PartField 编码器对对象几何进行编码并将特征投影到 LLM 空间。
- 将连续的抓取参数离散化为动作令牌,并用 action_start 和 action_end 令牌包裹序列以实现自回归解码。
- 将接触表示为链接令牌序列和离散化的 3D 位置令牌,形成 contact_start 和 contact_end 的包裹。
- 通过对完整序列进行下一个令牌预测进行训练,采用混合注意力模式(点云为双向注意力,文本/动作为因果注意力)并对接触位置进行 dropout 以正则化。
- 通过 MuJoCo 用物理接触数据对 DexGYS 和 Dexonomy 进行标注,并使用 VLM 为 Dexonomy 生成语言描述。
实验结果
研究问题
- RQ1显式的基于接触的具身推理能否提高语言指令与物理可行的灵巧抓取之间的对齐?
- RQ2在抓取配置之前预测接触模式是否比端到端方法在稳定性和意图对齐方面表现更好?
- RQ3通过部分接触规定实现的可控生成对生成抓取的控制和质量有何影响?
- RQ4在看不见的对象和抓取范畴上,具备接触感知的语言条件抓取的泛化性能如何?
主要发现
- DextER 在 DexGYS 上实现了 67.14% 的抓取成功率,比前一代方法高出 3.83 个点。
- DextER 相对于上一最佳方法在 DexGYS 上的意图对齐(P-FID)提升了 96.4%。
- 显式的具身接触推理(ER)至关重要:去除它后 P-FID 从 0.20 降至 0.30,成功率从 67.14% 降至 62.37%。
- 通过部分接触约束实现的可控生成使用户能够在保持高抓取质量的同时引导抓取合成。
- DextER 在 Dexonomy 上对 seen/unseen 对象和范畴展现出强大的零-shot 泛化能力,对 unseen objects 的表现优于 unseen taxonomies。
- 由于自回归的多模态令牌框架,模型在生成抓取时的多样性(特别是在旋转空间)较高。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。