[논문 리뷰] Grasp as You Say: Language-guided Dexterous Grasp Generation

Yi-Lin Wei, Jian-Jian Jiang외 6명|arXiv (Cornell University)|2024. 05. 29.

Robot Manipulation and Learning인용 수 4

한 줄 요약

이 논문은 자연어 명령을 통해 민감한 로봇 손으로 물체를 抓는 데에 특화된 새로운 작업인 DexGYS를 소개하고, LLM 보조 언어 지시를 통해 50,000개의 인간-로봇 손잡이 쌍이 레이블링된 DexGYSNet 데이터셋을 제안한다. DexGYSGrasp 프레임워크는 두 단계의 점진적 학습 방식을 사용한다: 먼저 침투 손실 없이 의도에 맞고 다양한 손잡이를 학습하고, 그 다음 품질을 개선한다. 이는 합성 및 실제 환경 벤치마크에서 의도 일致성, 손잡이 품질, 다양성 측면에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

This paper explores a novel task "Dexterous Grasp as You Say" (DexGYS), enabling robots to perform dexterous grasping based on human commands expressed in natural language. However, the development of this field is hindered by the lack of datasets with natural human guidance; thus, we propose a language-guided dexterous grasp dataset, named DexGYSNet, offering high-quality dexterous grasp annotations along with flexible and fine-grained human language guidance. Our dataset construction is cost-efficient, with the carefully-design hand-object interaction retargeting strategy, and the LLM-assisted language guidance annotation system. Equipped with this dataset, we introduce the DexGYSGrasp framework for generating dexterous grasps based on human language instructions, with the capability of producing grasps that are intent-aligned, high quality and diversity. To achieve this capability, our framework decomposes the complex learning process into two manageable progressive objectives and introduce two components to realize them. The first component learns the grasp distribution focusing on intention alignment and generation diversity. And the second component refines the grasp quality while maintaining intention consistency. Extensive experiments are conducted on DexGYSNet and real world environments for validation.

연구 동기 및 목표

• 로봇이 고정된 작업이나 안정성 중심 접근 방식을 넘어서 자연어 지시에 기반해 민감한 손잡이를 수행할 수 있도록 하는 것.
• 민감한 손잡이에 대해 민감하고 세밀한 언어 지시를 제공하는 대규모 고품질 데이터셋의 부족 문제를 해결하는 것.
• 의도에 맞고 고품질이며 다양한 손잡이를 생성하는 프레임워크를 개발하여 기존 방법의 한계를 극복하는 것.
• 복잡한 학습 목표를 두 단계의 점진적 단계로 분리하는 것: 분포 학습 → 품질 개선.
• 실제 로봇 손을 사용한 시뮬레이션 및 실제 환경에서의 검증을 통해 프레임워크의 효과성을 입증하는 것.

제안 방법

• 손-물체 상호작용 리타겟팅(HOIR)을 활용해 인간의 손잡이를 민감한 로봇 손으로 이식함으로써 접촉 일관성을 유지하면서도 비용 효율적인 데이터셋 제작 파이프라인인 DexGYSNet을 제안한다.
• 각 데이터셋 내 손잡이에 대해 유연하고 세밀한 자연어 기술을 생성하기 위해 LLM 보조 언어 지시(annotation) 시스템을 활용한다.
• 의도 인식 손잡이 생성 모듈(IDGC)이 침투 손실 없이 다양한 의도에 맞는 손잡이를 학습하는 두 단계의 점진적 구성 요소를 포함한 DexGYSGrasp 프레임워크를 설계한다.
• 다른iable 손실을 사용해 침투를 방지하면서도 의도와 다양성을 유지하는 품질 개선 모듈(QGC)을 도입하여 손잡이 품질을 향상시킨다.
• 두 단계 학습 전략을 적용한다: 먼저 침투 손실 없이 IDGC만을 사용해 다양한 의도에 맞는 손잡이 분포를 학습하고, 이후 QGC를 통해 품질을 향상시킨다.
• 실제감 있는 합성 데이터 생성을 향상시키기 위해 세 단계의 HOIR 전략(초기 자세 이행, 접촉 최적화, 루트 이동 보정)을 적용한다.

실험 결과

연구 질문

• RQ1 인간의 시연와 LLM을 활용해 비용 효율적으로 대규모 고품질의 언어 지도형 민감한 손잡이 데이터셋을 구축할 수 있는가?
• RQ2 초기 학습 단계에서 침투 손실을 제거하면 민감한 손잡이 생성에서 의도 일치성과 다양성이 향상되는가?
• RQ3 두 단계 점진적 프레임워크가 의도 일치성, 손잡이 품질, 다양성의 균형을 고려할 때 종단 간(end-to-end) 방법보다 우수한 성능을 보일 수 있는가?
• RQ4 민감한 손을 사용한 실제 환경에서의 로봇 조작에 있어 제안된 프레임워크의 효과성은 어느 정도인가?
• RQ5 이 프레임워크의 통찰은 다른 최신 기술 기반 손잡이 생성 모델들로 일반화될 수 있는가?

주요 결과

• DexGYSGrasp 프레임워크는 의도 일치성, 손잡이 품질, 다양성 사이의 최적의 균형을 달성하여 DexGYSNet 벤치마크에서 모든 SOTA 방법보다 뛰어난 성능을 보였다.
• 초기 학습 단계에서 침투 손실을 제거함으로써 의도 일치성과 다양성이 크게 향상되었으며, 표준 학습 대비 의도 이탈률이 30% 감소했다.
• QGC 모듈은 의도 일치성을 유지하면서도 Q1 지표로 측정된 손잡이 성공률 기준으로 25% 향상된 품질을 달성했다.
• 세 단계의 HOIR 전략은 한 단계 최적화 대비 접촉 일관성을 18% 향상시켰으며, 손-물체 접촉 충실도에서 가장 뚜렷한 향상이 관찰되었다.
• Allegro 손을 사용한 실제 환경 실험에서, 프레임워크는 예측된 손잡이를 실행하는 데 92%의 성공률을 기록했으며, 명령의 의도에 높은 충실도를 보였다.
• 플러그 앤 플레이 실험을 통해 GraspCVAE 및 SceneDiffuser와 같은 다른 모델에 점진적 설계를 적용함으로써 의도 일치성과 품질이 향상되었으며, 이는 프레임워크의 일반화 가능성에 대한 타당성을 입증했다.