[논문 리뷰] CAPE: Corrective Actions from Precondition Errors using Large Language Models

Shreyas Sundara Raman, Vanya Cohen외 5명|arXiv (Cornell University)|2022. 11. 17.

Topic Modeling인용 수 8

한 줄 요약

CAPE는 작업 계획 중 실패한 동작에 대해 사전 조건 오류 피드백을 사용하여 대규모 언어 모델(Large Language Models, LLMs)이 수정 조치를 생성하도록 이끄는 재프롬프팅 프레임워크이다. 템플릿 기반 프롬프트를 통해 실패 맥락을 주입함으로써 CAPE는 계획의 실행 가능성과 정확도를 향상시키며, VirtualHome에서는 49.63%의 계획 정확도를 달성했고, Boston Dynamics Spot 로봇에서는 SayCan 대비 76.49% 향상된 성능을 보였다.

ABSTRACT

Extracting commonsense knowledge from a large language model (LLM) offers a path to designing intelligent robots. Existing approaches that leverage LLMs for planning are unable to recover when an action fails and often resort to retrying failed actions, without resolving the error's underlying cause. We propose a novel approach (CAPE) that attempts to propose corrective actions to resolve precondition errors during planning. CAPE improves the quality of generated plans by leveraging few-shot reasoning from action preconditions. Our approach enables embodied agents to execute more tasks than baseline methods while ensuring semantic correctness and minimizing re-prompting. In VirtualHome, CAPE generates executable plans while improving a human-annotated plan correctness metric from 28.89% to 49.63% over SayCan. Our improvements transfer to a Boston Dynamics Spot robot initialized with a set of skills (specified in language) and associated preconditions, where CAPE improves the correctness metric of the executed task plans by 76.49% compared to SayCan. Our approach enables the robot to follow natural language commands and robustly recover from failures, which baseline approaches largely cannot resolve or address inefficiently.

연구 동기 및 목표

• LLM 기반 계획에서 실패 복구 기능의 부재 문제를 해결하여, 에이전트가 루트 케이스를 해결하지 못한 채 실패한 동작을 반복적으로 시도하는 현상을 방지한다.
• embodiment된 에이전트가 LLM을 활용해 작업 실행 중 사전 조건 위반을 자율적으로 수정할 수 있도록 한다.
• 특정 사전 조건 오류에 초점을 맞춘 수정 추론을 통해 광범위한 스킬 탐색에 의존하는 것을 줄인다.
• 모의 환경과 실제 로봇 환경 모두에서 계획의 실행 가능성과 의미적 정확도를 향상시킨다.
• 특히 대규모 스킬 레파지토리 환경에서 SayCan과 같은 기준 기반 방법에 비해 재프롬프팅 횟수와 계산 비용을 최소화한다.

제안 방법

• 실행 실패 시 사전 조건 오류 정보를 LLM에 주입하기 위해 템플릿 기반 프롬프트를 사용하는 재프롬프팅 전략인 CAPE를 도입한다.
• 유사한 의미적 작업 예시를 소수의 샘플로 제공함으로써, LLM이 수정 조치를 생성하도록 유도하는 인라인 컨텍스트 학습을 활용한다.
• 두 단계 파이프라인을 사용한다: 첫 번째로 Planning LLM이 자유형식의 동작 시퀀스를 생성하고, 두 번째로 Translation LLM이 이를 에이전트의 스킬 레파지토리에서 실행 가능한 동작로 매핑한다.
• 실패한 동작에서 유도된, 특히 위반된 사전 조건 정보를 프롬프트에 통합하여 LLM이 수정 조치를 향해 유도한다.
• 가용한 도메인 지식과 피드백의 세분성에 따라 재프롬프팅 방법을 조정함으로써 소규모 및 대규모 스킬 레파지토리 모두에 대응한다.
• 전체 스킬 공간 순회를 피함으로써 효율성을 최적화하여, SayCan의 O(|s|^n)에서 CAPE는 O(n)으로 시간 복잡도를 감소시켰다.

실험 결과

연구 질문

• RQ1 계획 단계에서 사전 조건 오류 피드백을 제공받는 LLM이 의미적으로 올바른 수정 조치를 생성할 수 있는가?
• RQ2 기본 기반 LLM 계획 방법에 비해 사전 조건 오류 정보를 통합함으로써 계획의 실행 가능성과 정확도는 얼마나 향상되는가?
• RQ3 대규모 스킬 레파지토리 환경에서 CAPE는 재프롬프팅 횟수와 계산 오버헤드를 얼마나 줄이는가?
• RQ4 CAPE는 도메인 특화 설정 최소화로도 모의 환경과 실제 로봇 시스템 모두에 일반화 가능한가?
• RQ5 완전한 약속 모델에 액세스하지 못함에도 불구하고, CAPE는 SayCan과 같은 오라클 기반 방법보다 정확도와 효율성 면에서 뛰어나지 않는가?

주요 결과

• VirtualHome 시뮬레이션 환경에서 CAPE는 SayCan 대비 인간 애너테이션 기반 계획 정확도를 28.89%에서 49.63%로 향상시켰다.
• Boston Dynamics Spot 로봇에서 CAPE는 SayCan이 오라클 설정에서 작동함에도 불구하고 계획 정확도에서 76.49%의 절대적 향상을 달성했다.
• 명시적인 원인 기반 및 소수 샘플 프롬프팅을 사용할 경우, 로봇 시연에서 CAPE는 100%의 실행 가능성 확보를 달성하여 모든 기준 기반 방법을 초월했다.
• 시간 복잡도가 SayCan의 O(|s|^n)에서 CAPE의 O(n)으로 감소하여, 대규모 스킬 레파지토리 환경에서의 확장성 향상이著명했다.
• 시각 피드백이나 전체 약속 모델에 액세스할 수 없는 상황에서도 CAPE는 더 적은 사전 조건 오류를 포함한 더 의미적으로 정확한 계획을 생성했다.
• 정확도에 대한 상호 애너테이터 간 일致도는 중간 수준(Fleiss’ Kappa)이었고, 유일한 예외는 재샘플링 기반 기준 방법이었으며, 이 경우 애너테이터들이 계획이 실행 불가능하다고 단지 거부했다.