[논문 리뷰] ThinkGrasp: A Vision-Language System for Strategic Part Grasping in Clutter

Yaoyao Qian, Xupeng Zhu외 6명|arXiv (Cornell University)|2024. 07. 16.

Natural Language Processing Techniques인용 수 4

한 줄 요약

ThinkGrasp는 GPT-4o의 추론 능력을 활용해 매우 혼잡한 환경에서 전략적이고 다단계적인 집게 동작을 계획하는 시각-언어 기반 로봇 집게 시스템이다. 언어 기반 객체 우선순위 정하기, 음영 처리, LangSAM 및 VLPart를 통한 세분화 기술을 융합함으로써 시뮬레이션에서는 98.0%의 성공률을 기록했고, 실제 환경에서는 75–90%의 성공률을 달성하며 단순한 단계 수로도 이전 방법들보다 일반화 능력과 내성에 뛰어나다.

ABSTRACT

Robotic grasping in cluttered environments remains a significant challenge due to occlusions and complex object arrangements. We have developed ThinkGrasp, a plug-and-play vision-language grasping system that makes use of GPT-4o's advanced contextual reasoning for heavy clutter environment grasping strategies. ThinkGrasp can effectively identify and generate grasp poses for target objects, even when they are heavily obstructed or nearly invisible, by using goal-oriented language to guide the removal of obstructing objects. This approach progressively uncovers the target object and ultimately grasps it with a few steps and a high success rate. In both simulated and real experiments, ThinkGrasp achieved a high success rate and significantly outperformed state-of-the-art methods in heavily cluttered environments or with diverse unseen objects, demonstrating strong generalization capabilities.

연구 동기 및 목표

• 목표 물체가 가림되거나 거의 보이지 않는 매우 혼잡한 환경에서 로봇 집게 작업을 수행하는 데 도전하는 것.
• 심한 가림 상태에서 새로운 물체를 집을 때 일반화 능력과 내성 강화를 위해 언어 조건 기반 추론을 활용하는 것.
• 시각-언어 모델과 세분화, 집게 계획 기술을 통합해 안전하고 효율적이며 적응 가능한 집게 동작을 수행할 수 있는 즉시 사용 가능한 시스템을 개발하는 것.
• 대규모 애너테이션 데이터셋에 의존하는 것을 줄이고, GPT-4o와 같은 대규모 언어 모델의 추론 능력을 활용하는 것.
• 프롬프트 기반 상호작용을 통해 새로운 언어 목표와 새로운 물체에 실시간으로 적응할 수 있도록 하는 것.

제안 방법

• 시스템은 GPT-4o를 사용해 자연어 지시어를 해석하고, 목표 지향적으로 방해 물체를 제거하기 위한 사고의 사슬 계획을 생성한다.
• 객체 영역을 세분화한 후 3×3 격자 기반의 집게 포인트 선택 전략을 적용해 집게 자세의 정확도와 안전성을 향상시킨다.
• LangSAM과 VLPart를 사용해 이미지 및 포인트 클라우드 세분화를 강력하게 수행하며, 언어 모델 예측에서 세분화를 분리함으로써 오류 전파를 방지한다.
• 모듈러한 파이프라인을 사용: 언어 모델은 전략 수립, 세분화 모델은 객체 위치 파악, 후행 단계의 집게 모델(FGC-GraspNet)은 자세 생성에 사용된다.
• MoveIt와 ROS를 통합해 운동 계획 및 로봇 제어를 수행하며, 경로 계획에는 RRT*를 사용하고, 실제 환경 구현에서는 6-DoF UR5 암과 Robotiq 85 그립퍼를 사용한다.
• 시스템은 이중 3090 GPU를 탑재한 서버에 Flask를 통해 배포되며, GPT-4o API를 사용해 추론 지연 시간이 10초 이내로 유지된다.

실험 결과

연구 질문

• RQ1 GPT-4o와 같은 시각-언어 모델이 인간 간섭 최소화로 매우 혼잡한 장면에서 전략적이고 다단계 집게 동작을 가능하게 할 수 있는가?
• RQ2 언어 추론을 세분화 및 집게 계획과 통합할 경우, 가림 상태 환경에서 성공률가 어떻게 향상되는가?
• RQ3 시스템이 시뮬레이션과 실제 환경 모두에서 새로운 물체와 새로운 언어 지시어에 얼마나 잘 일반화되는가?
• RQ4 각 구성 요소(GPT-4o, LangSAM, VLPart 등)가 전체 시스템 성능에 기여하는 정도는 어느 정도인가?
• RQ5 즉시 사용 가능한 시스템이 다양한 복잡한 혼잡한 장면에서 단순한 단계 수로도 높은 성공률을 달성할 수 있는가?

주요 결과

• 시뮬레이션 환경에서 ThinkGrasp는 RefCOCO 데이터셋에서 심한 혼잡 상태에서도 98.0%의 성공률을 기록했으며, OVGNet(43.8%)와 VLG(75.3%)를 크게 앞서는 성능을 보였다.
• 실제로 거의 보이지 않는 목표 물체 조건에서도 시스템은 78.9%의 성공률을 유지했으며, 새로운 물체와 복잡한 가림 상태에 대한 강력한 일반화 능력을 입증했다.
• 실제 환경 실험에서 '테이프를 가져와' 또는 '손잡이가 있는 칼을 가져와'와 같은 작업에서 제1단계 성공률은 75%, 제2단계는 80%를 기록했으며, VL-Grasp를 능가하는 성능을 보였다.
• 제거 실험 결과, GPT-4o나 3×3 집게 격자 기반 전략을 제거할 경우 성능 저하가 발생해 각 구성 요소의 중요성을 확인했다.
• 기준 방법들보다 단계 수가 적었고, 단일 시각 재구성 및 로봇 제어 변동성 등의 과제에도 불구하고 높은 신뢰성을 유지했다.
• 실패 원인은 주로 후행 모델에서 유도된 저품질의 집게 자세, 영상 품질 한계, 로봇의 불안정성에서 기인했으며, 이는 향상된 인식 및 제어 기술의 필요성을 시사한다.