Skip to main content
QUICK REVIEW

[논문 리뷰] DextER: Language-driven Dexterous Grasp Generation with Embodied Reasoning

Junha Lee, Eunha Park|arXiv (Cornell University)|2026. 01. 22.
Robot Manipulation and LearningEngineering인용 수 0
한 줄 요약

DextER은 언어 주도 손재주 그립 생성에서 접촉 기반의 구현적 추론을 도입하여, 먼저 손 링크와 대상 표면 간의 접촉 지점을 예측한 다음 최종 그립을 생성하고, 최첨단 성능과 조향 가능한 생성을 달성합니다.

ABSTRACT

Language-driven dexterous grasp generation requires the models to understand task semantics, 3D geometry, and complex hand-object interactions. While vision-language models have been applied to this problem, existing approaches directly map observations to grasp parameters without intermediate reasoning about physical interactions. We present DextER, Dexterous Grasp Generation with Embodied Reasoning, which introduces contact-based embodied reasoning for multi-finger manipulation. Our key insight is that predicting which hand links contact where on the object surface provides an embodiment-aware intermediate representation bridging task semantics with physical constraints. DextER autoregressively generates embodied contact tokens specifying which finger links contact where on the object surface, followed by grasp tokens encoding the hand configuration. On DexGYS, DextER achieves 67.14% success rate, outperforming state-of-the-art by 3.83%p with 96.4% improvement in intention alignment. We also demonstrate steerable generation through partial contact specification, providing fine-grained control over grasp synthesis.

연구 동기 및 목표

  • 작업 의미론과 물리적 상호 작용 사전을 통합하는 언어 조건부 손재주 그립 생성을 동기화합니다.
  • 그립 구성 전에 손-물체 접촉을 예측하는 구현적 추론 프레임워크를 제시합니다.
  • 물리 기반 접촉 주석이 있는 대규모 데이터셋(DexGYS, Dexonomy)을 활용하여 접촉 인식 모델을 학습합니다.
  • 비전-언어-행동 프레임워크 내에서 이산적 접촉 및 그립 토큰의 자기회귀 생성을 시연합니다.
  • 부분 접촉 지정에 의한 조향 가능한 생성이 그립 품질을 유지하면서 세밀한 제어를 제공한다는 것을 보입니다.

제안 방법

  • 그립 생성을 P(a, C | P, T)로 표현하는데, C는 접촉 토큰이고 a는 그립 토큰입니다.
  • 세 가지 구성요소 모델을 사용합니다: 3D 비전 인코더(PartField), 다중 모달 프로젝터, LLM 백본(Qwen 계열)으로 P와 T를 함께 인코딩하고 접촉 토큰을 먼저 자기회귀적으로 생성한 다음 그립 토큰을 생성합니다.
  • 사전에 학습된 PartField 인코더로 물체 기하를 인코딩하고 특징을 LLM 공간으로 투영합니다.
  • 연속적인 그립 매개변수를 동작 토큰으로 이산화하고, 자동 회귀 디코딩을 위해 시퀀스를 action_start 및 action_end 토큰으로 래핑합니다.
  • 접촉을 링크 토큰의 시퀀스와 이산화된 3D 위치 토큰으로 표현하여 contact_start 및 contact_end 래퍼를 구성합니다.
  • 전체 시퀀스에 대한 다음 토큰 예측으로 학습하되, 바이어스된 주의 패턴(점군에 대해서는 양방향, 텍스트/동작에 대해서는 인과적)을 사용하고 정규화를 위한 접촉 위치 드롭아웃을 적용합니다.
  • MuJoCo를 통해 물리 기반 접촉 데이터를 DexGYS와 Dexonomy에 주석화하고 Dexonomy에 대해 VLM을 사용해 언어 설명을 생성합니다.

실험 결과

연구 질문

  • RQ1명시적 접촉 기반 구현적 추론이 언어 명령과 물리적으로 실행 가능한 손재주 그립 간 정합성을 향상시킬 수 있는가?
  • RQ2그립 구성 전에 접촉 패턴을 예측하는 것이 엔드-투-엔드 접근법보다 더 나은 안정성과 의도 정합성을 제공하는가?
  • RQ3부분 접촉 지정에 의한 조향 가능한 생성이 생성된 그립의 제어 및 품질에 어떤 영향을 미치는가?
  • RQ4보지 않은 물체 및 그립 분류학에 대해 접촉 인식된 언어 조건부 그립의 일반화 성능은 어떠한가?

주요 결과

  • DextER는 DexGYS에서 그립 성공률 67.14%를 달성하여 기존 최첨단보다 3.83포인트 앞섰습니다.
  • DextER는 DexGYS에서 의도 정합(P-FID)을 이전 최상 방법 대비 96.4% 향상시켰습니다.
  • 명시적 구현적 접촉 추론(ER)은 결정적이며 중요합니다: 이를 제거하면 P-FID가 0.20에서 0.30으로 떨어지고 성공률이 67.14%에서 62.37%로 감소합니다.
  • 부분 접촉 제약을 통한 조향 가능한 생성은 사용자가 그립 합성을 안내하면서도 높은 그립 품질을 유지하게 합니다.
  • DextER는 Dexonomy에서 보이는 객체/분류학 여부에 관계없이 제시된 것/보이지 않는 객체에서 강한 제로샷 일반화를 보여주며, 보이지 않는 객체에서 보이지 않는 분류학보다 더 나은 성능을 보입니다.
  • 모델은 자동회귀식 다중모달 토큰 프레임워크로 인해 특히 회전 공간에서 생성된 그립의 다양성이 더 큽니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.