[논문 리뷰] ProgPrompt: Generating Situated Robot Task Plans using Large Language Models
ProgPrompt는 파이썬식 코드 구조 프롬프트를 사용해 환경 인지 상태 피드백으로 실행 가능한 로봇 작업 계획을 생성하여 가상 및 실제 환경에서 계획의 타당성과 성공을 향상시킵니다.
Task planning can require defining myriad domain knowledge about the world in which a robot needs to act. To ameliorate that effort, large language models (LLMs) can be used to score potential next actions during task planning, and even generate action sequences directly, given an instruction in natural language with no additional domain information. However, such methods either require enumerating all possible next steps for scoring, or generate free-form text that may contain actions not possible on a given robot in its current context. We present a programmatic LLM prompt structure that enables plan generation functional across situated environments, robot capabilities, and tasks. Our key insight is to prompt the LLM with program-like specifications of the available actions and objects in an environment, as well as with example programs that can be executed. We make concrete recommendations about prompt structure and generation constraints through ablation experiments, demonstrate state of the art success rates in VirtualHome household tasks, and deploy our method on a physical robot arm for tabletop tasks. Website at progprompt.github.io
연구 동기 및 목표
- 환경 상태와 사용 가능한 행동에 조건화된 상황적이고 실행 가능한 로봇 작업 계획을 LLM이 생성하도록 한다.
- 실패에서 회복하기 위해 전제조건과 어설션을 통해 환경 피드백을 통합한다.
- 추론 및 계획 구조를 안내하기 위해 주석이 포함된 프로그래밍 언어에서 영감을 받은 프롬프트를 활용한다.
- 가상 가정 작업과 물리적 로봇 팔에서의 효과를 입증한다.
- ProgPrompt를 자연어 프롄프트 및 이전 방법과 비교하여 개선점을 확립한다.
제안 방법
- 작업 호출, 주석, 어설션을 포함한 실행 가능한 Python 유사 프로그램으로 로봇 계획을 표현한다.
- 사용 가능한 동작의 import 기반 뷰와 실행 가능한 단계로 제한하기 위한 환경 객체 목록을 LLM에 제공한다.
- 하위 작업 추론을 안내하고 계획의 일관성을 높이기 위해 코드에 자연어 주석을 포함한다.
- 환경 상태가 가정과 다를 때 계획 수리를 가능하게 하기 위해 전제 조건 어설션 및 회복 행동을 사용한다.
- 훈련/테스트는 VirtualHome 시나리오와 물리 세계에서 객체 바인딩을 위한 ViLD를 통합한 Pick-and-place 정책을 가진 Franka-Emika Panda 로봇을 포함한다.
실험 결과
연구 질문
- RQ1프로그래밍 언어에서 영감을 받은 프롬프트가 특정 환경에서 실행 가능한 로봇 동작으로 LLM의 출력을 제한할 수 있는가?
- RQ2전제 조건 어설션과 회복 행동이 LLM 생성 계획의 성공률과 견고성을 향상시키는가?
- RQ3주석과 임포트를 포함한 코드와 같은 프롬프트가 로봇 작업 계획에 있어 자연어 프롬프트보다 더 효과적인가?
- RQ4ProgPrompt가 가상 환경에서 물리적 로봇 실행으로 얼마나 잘 전이되는가?
주요 결과
- ProgPrompt는 GPT-3 백본에서 VirtualHome의 여러 지표에서 기존 기준선 및 LangPrompt를 능가한다.
- 전제 조건 어설션 및 회복 행동을 통한 피드백 추가가 지표 전반의 성능을 향상시킨다.
- 프롬프트 코드에 주석을 포함하는 것이 지표 전반에서 성능을 크게 향상시킨다.
- Codex와 Davinci 백본은 일부 구성에서 GPT-3보다 더 잘 작동할 수 있으며, 테스트된 가운데 Codex가 가장 강한 결과를 보였다.
- 실제 로봇 실험에서 ProgPrompt로 생성된 계획은 실제 세계의 불확실성에도 불구하고 높은 실행성과 계획 성공률을 달성했다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.