[논문 리뷰] Task and Motion Planning with Large Language Models for Object Rearrangement

Yan Ding, Xiaohan Zhang외 2명|arXiv (Cornell University)|2023. 03. 10.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 다중 물체 재배치 작업에서 임의의 환경에서도 자연어 명령을 높은 성공률과 인간 중심의 배열로 수행할 수 있도록, 대규모 언어 모델(LLM)을 활용해 공통 지식적 공간 지식을 추출하는 LLM-GROP 프레임워크를 제안한다. LLM을 통해 의미적으로 타당한 물체 구성 요건을 생성하고, 운동 계획을 통해 이를 지형적으로 구현함으로써, 이는 모바일 매니퓰레이터가 복잡한 새로운 환경에서 자연어 명령을 효과적으로 수행할 수 있도록 한다.

ABSTRACT

Multi-object rearrangement is a crucial skill for service robots, and commonsense reasoning is frequently needed in this process. However, achieving commonsense arrangements requires knowledge about objects, which is hard to transfer to robots. Large language models (LLMs) are one potential source of this knowledge, but they do not naively capture information about plausible physical arrangements of the world. We propose LLM-GROP, which uses prompting to extract commonsense knowledge about semantically valid object configurations from an LLM and instantiates them with a task and motion planner in order to generalize to varying scene geometry. LLM-GROP allows us to go from natural-language commands to human-aligned object rearrangement in varied environments. Based on human evaluations, our approach achieves the highest rating while outperforming competitive baselines in terms of success rate while maintaining comparable cumulative action costs. Finally, we demonstrate a practical implementation of LLM-GROP on a mobile manipulator in real-world scenarios. Supplementary materials are available at: https://sites.google.com/view/llm-grop

연구 동기 및 목표

• 서비스 로봇이 부족한 자연어 지시에서 공통 지식 기반의 물체 재배치를 수행할 수 있도록 하는 데 도전한다.
• 고수준의 의미적 지식(예: 포크가 칼의 왼쪽에 있음)과 동적인 미지의 환경에서의 저수준 운동 계획 간 격차를 메운다.
• 작업 전용 훈련 데이터가 필요 없이 다양한 환경 기하학적 구조와 물체 구성에 대해 계획 일반화 성능을 향상시킨다.
• LLM으로부터 추출한 공통 지식이 기존 베이스라인 대비 더 인간 선호도가 높고 효율적인 재배치 계획을 도출하는지 평가한다.

제안 방법

• 자연어 명령을 바탕으로 대규모 언어 모델(LLM)을 사용해 기호적 공간 관계(예: '포크가 칼의 왼쪽에 있음')를 생성한다.
• 물리적 타당성을 평가하는 작업 및 운동 계획기(타스크 앤 모션 플래너)를 통해 기호적 공간 관계를 기하학적 구성으로 구현한다.
• 운동 타당성, 작업 완료 효율성, 장기적 유용성을 균형 잡고 결과 계획을 최적화한다.
• Segway 기반 플랫폼에 장착된 UR5e 암을 사용해 실제 모바일 매니퓰레이션 시스템에 LLM으로 생성된 계획을 통합한다.
• 실제 로봇 구동을 위해 하드코딩된 그립 정책과 장애물 회피 전략을 적용한다.
• 사용자 평가를 통해 인간이 선호하는 최종 물체 배열을 평가하고, LLM-GROP와 기존 베이스라인 간 만족도 및 실행 시간을 비교한다.

Figure 1: A mobile manipulator is assigned the task of setting a table in a dining domain. The manipulator needs to arrange several tableware objects, including a knife, a fork, a plate, a cup mat, and a mug. These objects are available on the other tables, and there are also randomly generated obst

실험 결과

연구 질문

• RQ1 LLM은 자연어 지시에서 물체 재배치를 위한 공통 지식 기반 공간 관계를 신뢰성 있게 추출할 수 있는가?
• RQ2 LLM-GROP의 인간 중심 물체 재배치 성능은 기존의 작업 및 운동 계획 베이스라인과 비교해 어떻게 되는가?
• RQ3 재훈련 없이 다양한 환경 기하학적 구조와 물체 수에 대해 LLM-GROP는 얼마나 일반화되는가?
• RQ4 LLM으로부터 추출한 지식은 실제 로봇 실행에서 더 효율적이고 선호도가 높은 배열을 이끌 수 있는가?
• RQ5 LLM-GROP는 기존 베이스라인 대비 계획 효율성과 인간 선호도 간의 상충 관계가 어떻게 되는가?

주요 결과

• 사용자 평가에서 LLM-GROP는 모든 베이스라인 대비 높은 사용자 평점을 기록했으며, 물체 배열의 질에 대한 인식이 뚜렷하게 뛰어났다.
• 모든 방법 중 평균 작업 완료 시간이 가장 짧아 실제 실행에서 높은 효율성을 보였다.
• LLM-GROP는 베이스라인 수준의 누적 동작 비용을 유지하면서도 사용자 만족도가 뛰어나, 효율성과 선호도 사이에 유리한 트레이드오프를 확보했다.
• 이 프레임워크는 실제 모바일 매니퓰레이터에서 복잡한 재배치 작업을 성공적으로 수행했으며, 예를 들어 접시 왼쪽에 포크를 놓고, 접시 위에 딸기를 올리는 등 의미적으로 타당한 구성 요건을 구현했다.
• 다섯 개의 물체를 포함한 작업에서도 사용자 평점이 일관되게 높게 유지되어, 작업 복잡도 증가에 대한 강건성을 입증했다.
• 실제 환경 시연를 통해 LLM-GROP가 장애물과 사람을 회피하면서도 동적인 실내 환경에서 타당하고 인간 중심의 물체 배치를 달성할 수 있음을 확인했다.

Figure 2: LLM-GROP takes service requests from humans for setting tables and produces a task-motion plan that the robot can execute. LLM-GROP is comprised of two key components: the LLM and the Task and Motion Planner. The LLM is responsible for creating both symbolic and geometric spatial relations