[논문 리뷰] Tree-Planner: Efficient Close-loop Task Planning with Large Language Models

Mengkang Hu, Yao Mu외 8명|arXiv (Cornell University)|2023. 10. 12.

Topic Modeling인용 수 6

한 줄 요약

Tree-Planner는 공통지식 기반으로 계획 샘플링, 액션 트리 구축, 기반 결정의 세 단계로 구성된 프레임워크를 제안하여 LLM 기반 작업 계획의 효율성을 향상시킨다. 이는 토큰 소비와 오류 수정 오버헤드를 줄이는 데 기여하며, 반복적인 LLM 계획법 대비 92.2% 낮은 토큰 사용량과 40.5% 적은 오류 수정 횟수를 기록한다. VirtualHome 시뮬레이션에서 최신 기술 수준의 성능을 유지한다.

ABSTRACT

This paper studies close-loop task planning, which refers to the process of generating a sequence of skills (a plan) to accomplish a specific goal while adapting the plan based on real-time observations. Recently, prompting Large Language Models (LLMs) to generate actions iteratively has become a prevalent paradigm due to its superior performance and user-friendliness. However, this paradigm is plagued by two inefficiencies: high token consumption and redundant error correction, both of which hinder its scalability for large-scale testing and applications. To address these issues, we propose Tree-Planner, which reframes task planning with LLMs into three distinct phases: plan sampling, action tree construction, and grounded deciding. Tree-Planner starts by using an LLM to sample a set of potential plans before execution, followed by the aggregation of them to form an action tree. Finally, the LLM performs a top-down decision-making process on the tree, taking into account real-time environmental information. Experiments show that Tree-Planner achieves state-of-the-art performance while maintaining high efficiency. By decomposing LLM queries into a single plan-sampling call and multiple grounded-deciding calls, a considerable part of the prompt are less likely to be repeatedly consumed. As a result, token consumption is reduced by 92.2% compared to the previously best-performing model. Additionally, by enabling backtracking on the action tree as needed, the correction process becomes more flexible, leading to a 40.5% decrease in error corrections.

연구 동기 및 목표

• 반복적인 LLM 기반 작업 계획에서의 토큰 비효율성과 오류 수정 비효율성을 해결하기 위해.
• 다중 계획 단계에서 반복적인 프롬프트 토큰 소비를 줄이기 위해.
• 전체 계획 재생성 없이도 영향을 국소화한 후행 기반 오류 수정을 가능하게 하기 위해.
• 실제 도입을 위한 확장성 향상과 함께 높은 성능를 유지하기 위해.
• 파라미터 미세조정이나 아키텍처 변경 없이도 효율적인 추론 시점 프레임워크를 제공하기 위해.

제안 방법

• Tree-Planner는 공통지식 기반으로 단일 LLM 호출을 통해 다수의 잠재적 작업 계획을 샘플링한다.
• 샘플링된 계획들을 집계하고 구조화하여 계층적 의사결정 그래프로 정리하기 위해 액션 트리를 구축한다.
• 실행 중에 LLM은 실시간 환경 관측 정보를 기반으로 트리 위에서 상향식으로 기반된 추론을 수행한다.
• 실패한 액션은 트리에서 후행 기반 백트래킹을 유도하여 전역 재계획이 아닌 국소적 수정을 가능하게 한다.
• 이 프레임워크는 계획 생성과 실행을 분리하여 반복적인 프롬프트 토큰 소비를 최소화한다.
• 파라미터 미세조정 없이도 블랙박스 LLM을 활용하며, 오직 프롬프트 엔지니어링과 트리 기반 추론에 의존한다.

실험 결과

연구 질문

• RQ1 반복적인 프롬프트 사용을 최소화함으로써 LLM 기반 작업 계획에서 토큰 소비를 줄일 수 있는가?
• RQ2 구조화된 계획 트리에서 후행 기반을 통해 오류 수정 효율성을 향상시킬 수 있는가?
• RQ3 반복적이고 자동회귀적인 LLM 호출에 의존하는 것 없이도 높은 작업 성공률를 유지할 수 있는가?
• RQ4 액션 트리를 활용한 생성-선택 방식은 종단 간 반복 프롬프팅 대비 효율성과 내구성 면에서 어떻게 비교되는가?
• RQ5 계획의 다양성과 트리 구조는 의사결정 품질과 수정의 유연성에 어떤 영향을 미치는가?

주요 결과

• Tree-Planner는 최고 성능의 반복 기반 베이스라인 대비 토큰 소비를 92.2% 감소시켰다.
• 액션 트리에서의 민첩한 후행 기반으로 오류 수정 빈도가 40.5% 감소했다.
• 복잡한 가정생활 작업에 대해 VirtualHome 벤치마크에서 최신 기술 수준의 성능를 달성했다.
• 단일 계획 샘플링 호출로 매 단계마다 전역적 맥락과 인라인 예시를 반복적으로 포함하는 것을 방지했다.
• 액션 트리는 환경 기반의 세밀한 의사결정을 가능하게 하여 국소적 및 전역적 재계획 전략을 모두 능가하는 성능를 보였다.
• 정성적 분석 결과, 모델의 실패 사례는 주로 계획 샘플링 오류 또는 환경 기반 미흡으로 인한 것이었다.