[논문 리뷰] LLM+P: Empowering Large Language Models with Optimal Planning Proficiency

Bo Liu, Yuqian Jiang외 5명|arXiv (Cornell University)|2023. 04. 22.

Topic Modeling인용 수 84

한 줄 요약

LLM+P는 대형 언어 모델과 고전적 계획자를 결합하여 자연어 계획 문제를 PDDL로 변환하고, 계획자를 통해 최적 해를 해결한 뒤 다시 자연어로 번역하여 일반 LLM만 사용하는 경우보다 뛰어난 계획 성능을 달성한다.

ABSTRACT

Large language models (LLMs) have demonstrated remarkable zero-shot generalization abilities: state-of-the-art chatbots can provide plausible answers to many common questions that arise in daily life. However, so far, LLMs cannot reliably solve long-horizon planning problems. By contrast, classical planners, once a problem is given in a formatted way, can use efficient search algorithms to quickly identify correct, or even optimal, plans. In an effort to get the best of both worlds, this paper introduces LLM+P, the first framework that incorporates the strengths of classical planners into LLMs. LLM+P takes in a natural language description of a planning problem, then returns a correct (or optimal) plan for solving that problem in natural language. LLM+P does so by first converting the language description into a file written in the planning domain definition language (PDDL), then leveraging classical planners to quickly find a solution, and then translating the found solution back into natural language. Along with LLM+P, we define a diverse set of different benchmark problems taken from common planning scenarios. Via a comprehensive set of experiments on these benchmark problems, we find that LLM+P is able to provide optimal solutions for most problems, while LLMs fail to provide even feasible plans for most problems.\footnote{The code and results are publicly available at https://github.com/Cranial-XIX/llm-pddl.git.

연구 동기 및 목표

• 로봇 공학에서 신뢰할 수 있는 긴 수평(plan) 계획의 필요성을 동기화하고 고전적 계획자가 최적의 솔루션을 제공할 수 있음을 보여준다.
• 자연어 계획 문제를 PDDL로 변환하고 고전적 계획자를 활용한 파이프라인(LLM+P)을 제시하며 다시 자연어로 변환한다.
• LLM+P가 다양한 로봇 계획 도메인에서 LLM만으로의 계획 및 LLM 기반 탐색 방법보다 성능이 우수함을 보여준다.
• 실제 로봇 시연을 통해 가정용 로봇에서의 실용적 적용 가능성을 검증한다.]
• method:[

제안 방법

• 자연어 계획 문제를 PDDL 문제 파일(도메인 및 문제)로 번역하는 데 LLM을 사용한다.
• 제공된 도메인 PDDL(인간 전문가로부터)을 바탕으로 생성된 문제 PDDL을 고전적 계획자에게 입력하여 가능하면 최적으로 계획을 얻는다.
• 생성된 PDDL 계획을 다시 자연어로 번역하여 사용자 이해 또는 실행을 돕는다.
• 기준선과의 비교: LLM-as-P 및 Tree of Thoughts를 통해 계획 가능성과 최적성을 평가한다.
• 일곱 IPC에서 영감된 도메인과 도메인당 20개의 작업, 더불어 실제 로봇 정리 작업 시연으로 평가한다.

Figure 1 : LLM+P makes use of a large language model (LLM) to produce the PDDL description of the given problem, then leverages a classical planner for finding an optimal plan, then translates the raw plan back to natural language using the LLM again.

실험 결과

연구 질문

• RQ1 최첨단 LLM이 긴 수평 계획 문제를 직접 해결할 수 있는가(계획 가능성 및 최적성)?
• RQ2 LLM+P를 통해 고전적 계획자를 통합하면 여러 도메인에서 계획 성공률 및 최적성이 향상되는가?
• RQ3 맥락(예시 문제 및 문제 PDDL)이 LLM+P 성능에 얼마나 중요한가?
• RQ4 LLM+P가 자연어 프롬프트에서 실제 가정용 로봇의 정교한 조작 작업을 효율적으로 수행하게 할 수 있는가?

주요 결과

• LLM-as-P는 종종 전제 조건 추론의 결여로 인해 실행 가능한 것이 아닌 자연어로 된 계획을 산출한다.
• LLM+P는 대부분의 문제에 대해 최적의 계획을 제공한다; 대다수의 실패는 계획자의 한계보다는 문제 파일의 잘못된 지정 때문이다.
• 맥락(문제-예시 쌍)은 LLM+P가 올바른 PDDL 문제 파일을 생성하는 데 중요한 역할을 한다.
• LLM+P는 실제 가정용 로봇의 청소/정리 작업 시연에서 LLM만 접근법보다 비용이 더 낮아 실용적 효과를 입증한다.

(a) grasp bottle