[논문 리뷰] Lan-grasp: Using Large Language Models for Semantic Object Grasping and Placement

Reihaneh Mirjalili, Michael Krawez외 4명|arXiv (Cornell University)|2023. 10. 08.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

LAN-grasp는 피팅 튜닝 없이도 일상 물체의 최적의 그립 영역을 식별하기 위해 대규모 언어 모델(Large Language Models, LLMs)과 시각-언어 모델(Vision-Language Models, VLMs)을 활용하는 제로샷 의미론적 그립 방법을 제안한다. GPT-4를 활용해 안전하고 기능적인 그립 부위를 선택하고, OWL-ViT를 통해 이를 정렬함으로써, 인간이 선호하는 그립을 생성하며, 기하학적 기반 및 의미론적 기반 기준보다 뛰어난 성능을 보이며 인간 선호도와 평균 0.94의 유사도를 달성한다.

ABSTRACT

In this paper, we propose Lan-grasp, a novel approach towards more appropriate semantic grasping and placing. We leverage foundation models to equip the robot with a semantic understanding of object geometry, enabling it to identify the right place to grasp, which parts to avoid, and the natural pose for placement. This is an important contribution to grasping and utilizing objects in a more meaningful and safe manner. We leverage a combination of a Large Language Model, a Vision-Language Model, and a traditional grasp planner to generate grasps that demonstrate a deeper semantic understanding of the objects. Building on foundation models provides us with a zero-shot grasp method that can handle a wide range of objects without requiring further training or fine-tuning. We also propose a method for safely putting down a grasped object. The core idea is to rotate the object upright utilizing a pretrained generative model and the reasoning capabilities of a VLM. We evaluate our method in real-world experiments on a custom object dataset and present the results of a survey that asks participants to choose an object part appropriate for grasping. The results show that the grasps generated by our method are consistently ranked higher by the participants than those generated by a conventional grasping planner and a recent semantic grasping approach. In addition, we propose a Visual Chain-of-Thought feedback loop to assess grasp feasibility in complex scenarios. This mechanism enables dynamic reasoning and generates alternative grasp strategies when needed, ensuring safer and more effective grasping outcomes.

연구 동기 및 목표

• 로봇이 물체의 의미론적 기능과 설계를 고려하여 안전하고 사용 가능한 방식으로 일상 물체를 그립할 수 있도록 하는 것.
• 태스크에 특화된 훈련이나 피팅 튜닝이 필요 없도록 기초 모델을 활용해 그립 가능한 부위에 대한 제로샷 추론을 가능하게 하는 것.
• 물체 부위의 의미론적 지식과 목적을 통합함으로써 기하학적 기반 그립 방법을 향상시키는 것.
• 기초 모델 기반 그립 선택이 실제 환경에서 인간의 직관적 선호도와 얼마나 일치하는지 평가하는 것.

제안 방법

• 이 방법은 대규모 언어 모델(GPT-4)을 활용해 물체의 의미론적 이해와 목적에 기반해 적절한 그립 부위를 추론한다.
• 시각-언어 모델(OWL-ViT)을 사용해 LLM이 식별한 부위를 물체의 RGB 이미지 내에서 국지화한다.
• 그립 제안은 VLM가 식별한 영역 내에서만 생성되며, 이로써 그립의 의미론적 정렬이 보장된다.
• 이 방법은 모듈식이며, 어떤 LLM과 VLM와도 호환되어 다양한 기초 모델에 쉽게 적용할 수 있다.
• 사전 구현된 그립 계획기(Grasp planner)가 의미론적 영역 내에서 안정적인 그립을 생성함으로써 물리적 실현 가능성을 확보한다.
• 이 방법은 제로샷 방식으로 작동하며, 새로운 물체 카테고리에 대해 추가 훈련이나 피팅 튜닝이 필요하지 않다.

Figure 1: Robot performing the command of “Pick up the ice cream please” . The grasp on the left is generated without including semantic information while the grasp on the right is performed using our method leveraging a deeper understanding of the task and the object provided by Large Language Mode

실험 결과

연구 질문

• RQ1 LLM과 VLM와 같은 기초 모델을 사용해 피팅 튜닝 없이도 일상 물체의 의미론적으로 적절한 그립 영역을 식별할 수 있는가?
• RQ2 LLM가 생성한 그립 영역이 물체 취급에 있어 인간의 직관적 선호도와 얼마나 잘 일치하는가?
• RQ3 시각-언어 모델이 실제 물체의 이미지에 LLM의 의미론적 그립 제안을 정확히 정렬할 수 있는가?
• RQ4 제안된 방법이 기하학적 기반 및 기존 의미론적 그립 기준보다 인간 선호도 평가에서 뛰어난 성능을 보이는가?
• RQ5 이 시스템은 추론 중에 볼 수 없었던 물체 카테고리로 일반화할 수 있는가?

주요 결과

• LAN-grasp는 모든 테스트 물체에서 인간의 그립 선호도와 평균 0.94의 유사도 점수를 기록하여 GraspIt! (0.31)과 GraspGPT (0.67)를 크게 앞서며 뛰어난 성능을 보였다.
• 모든 테스트 케이스에서 LAN-grasp가 선택한 그립 영역은 다수의 인간 선호도와 일치하여 인간의 직관적 행동과 강한 일치를 보였다.
• 이 방법은 도구, 머그컵, 아이스크림이나 식물과 같이 취약한 물체까지 다양한 물체에 대해 적절한 그립 영역을 성공적으로 식별했다.
• LLM은 리모컨의 버튼이나 스마트폰 화면과 같이 피하기를 권장하는 부위를 정확히 식별하여 안전을 고려한 추론를 보였다.
• 초기 결과에 따르면 LLM은 냉각기의 날개나 티포트의 노즐과 같이 피해야 할 부위도 식별할 수 있어 안전 인지 기반 그립의 잠재력을 보여주었다.
• 이 방법의 제로샷 성격 덕분에 재학습이나 피팅 튜닝 없이도 다양한 새로운 가정용 물체에 대해 일반화가 가능하다.

Figure 2: Our approach in a nutshell: The command from the user is turned into a prompt suitable for the Large Language Model (LLM). With this prompt as an input, the large language model outputs the proper part for grasping the object, which in this example is the cone . This word is then grounded