[논문 리뷰] Improving Planning with Large Language Models: A Modular Agentic Architecture

Taylor W. Webb, Shanka Subhra Mondal외 1명|arXiv (Cornell University)|2023. 09. 30.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 복잡한 작업을 전문화된 LLM 모듈들—예를 들어 작업 분해, 행동 생성, 모니터링, 예측, 평가, 조율—으로 분해함으로써 대규모 언어 모델(LMM)의 계획 능력을 향상시키는 모듈형, 전두엽皮질(PFC)을 모델로 한 아키텍처인 LLM-PFC를 제안한다. 그래프 순회 및 하노이의 탑 문제에서 평가된 결과, 기존의 프롬프팅 방법에 비해 유의미하게 뛰어난 성능을 보이며, 뇌에 영감을 받은 모듈성은 LLM에서 다단계 추론을 향상시킨다.

ABSTRACT

Large language models (LLMs) demonstrate impressive performance on a wide variety of tasks, but they often struggle with tasks that require multi-step reasoning or goal-directed planning. Both cognitive neuroscience and reinforcement learning (RL) have proposed a number of interacting functional components that together implement search and evaluation in multi-step decision making. These components include conflict monitoring, state prediction, state evaluation, task decomposition, and orchestration. To improve planning with LLMs, we propose an agentic architecture, the Modular Agentic Planner (MAP), in which planning is accomplished via the recurrent interaction of the specialized modules mentioned above, each implemented using an LLM. MAP improves planning through the interaction of specialized modules that break down a larger problem into multiple brief automated calls to the LLM. We evaluate MAP on three challenging planning tasks -- graph traversal, Tower of Hanoi, and the PlanBench benchmark -- as well as an NLP task requiring multi-step reasoning (strategyQA). We find that MAP yields significant improvements over both standard LLM methods (zero-shot prompting, in-context learning) and competitive baselines (chain-of-thought, multi-agent debate, and tree-of-thought), can be effectively combined with smaller and more cost-efficient LLMs (Llama3-70B), and displays superior transfer across tasks. These results suggest the benefit of a modular and multi-agent approach to planning with LLMs.

연구 동기 및 목표

• 다단계 추론과 목표 지향적 계획에서 지속적으로 실패하는 LLM의 문제를 해결하기 위해, 특히 체계적이고 계층적인 추론이 필요한 과제에서의 성능 향상을 목표로 한다.
• 인간의 전두엽피질(PFC)의 하위 영역을 모델로 삼아, 전문화되고 功能적으로 구분된 모듈로 LLM을 구성할 경우 계획 성능 향상이 이루어지는지 탐구한다.
• 영감을 받은 모듈형 아키텍처를 통해 제로샷 프롬프팅과 인라인 학습의 한계를 극복하고, 전문화된 LLM 구성 요소 간의 자율적 조율 기능을 가능하게 한다.
• 인지 신경과학 원리에 기반한 블랙박스형 모듈형 아키텍처가 LLM에서 신뢰할 수 있고 확장 가능한 계획 능력을 제공할 수 있는지 평가한다.
• 모니터링, 예측, 평가 등의 기능을 분리된 전문화된 기능으로 분해함으로써 정확도 향상과 환각 및 루프 현상 감소에 기여하는지 탐색한다.

제안 방법

• 6개의 전문화된 GPT-4 기반 모듈—TaskDecomposer, Actor, Monitor, Predictor, Evaluator, TaskCoordinator—을 구현하여 각각 다른 인지 기능을 담당한다.
• 각 모듈은 소수의 예시를 포함한 인라인 학습 프롬프팅을 통해 특정 작업을 수행하도록 설정되며, 예를 들어 하위 목표 생성, 행동 제안, 상태 전이 평가 등을 수행한다.
• 행동 제안(Actor), 상태 예측(Predictor), 상태 평가(Evaluator)를 조합하여 트리 탐색을 수행함으로써 백트래킹과 경로 선택 기능을 가능하게 한다.
• 오류 모니터링은 Monitor 모듈을 통해 강제로 구현되며, 이는 작업 제약 위반을 방지하고 환각 및 잘못된 이동을 줄인다.
• TaskCoordinator는 하위 목표 완료와 최종 목표 달성을 추적하며, 완료 시 계획을 발행한다.
• 이 아키텍처는 폐쇄형 루프 시스템으로서, 모듈 간의 반복적 상호작용을 통해 계획을 반복적으로 정교화하고 검증한다.

Figure 1: LLM-PFC architecture. The agent receives states from the environment and high-level goals. These are processed by a set of specialized LLM modules. The $\operatorname{TaskDecomposer}$ receives high-level goals and generates a series of subgoals. The $\operatorname{Actor}$ generates propose

실험 결과

연구 질문

• RQ1 모듈형이며 PFC를 모델로 한 아키텍처는 복잡한 다단계 과제에서 LLM의 계획 성능 향상에 기여하는가?
• RQ2 각각 다른 인지 기능을 담당하는 전문화된 LLM 모듈들은 통합된 프롬프팅 방식보다 추론 및 계획에서 더 뛰어난 성능을 내는가?
• RQ3 예측, 평가, 모니터링 등의 모듈 간 조율이 LLM 계획에서 환각과 루프 현상 감소에 얼마나 기여하는가?
• RQ4 인지 신경과학 원리에 기반한 블랙박스형, 프롬프팅 기반의 모듈형 시스템은 계획 벤치마크에서 표준 제로샷 또는 인라인 학습보다 더 나은 결과를 낼 수 있는가?
• RQ5 LLM 아키텍처에 인지 신경과학 원리를 통합할 경우 체계적 추론과 목표 지향적 행동 향상에 실질적인 개선 효과가 있는가?

주요 결과

• LLM-PFC 아키텍처는 그래프 순회 및 하노이의 탑 계획 과제에서 표준 LLM 프롬프팅 방법에 비해 유의미하게 뛰어난 성능을 보였다.
• 그래프 순회 과제에서는 유효한 경로를 찾는 데 높은 성공률를 달성했으며, 기준 모델에서 흔히 발생하는 환각적 또는 유효하지 않은 전이를 줄였다.
• 하노이의 탑 과제에서는 제로샷 프롬프팅 대비 성공률가 향상되었지만, 여전히 최적의 성능은 아니었으며, 향후 개선 여지가 있음을 시사했다.
• 전용 Monitor 모듈의 사용으로 잘못된 행동과 제약 위반을 효과적으로 줄였으며, 루프 현상과 잘못된 상태 전이를 최소화했다.
• Predictor와 Evaluator 모듈을 통한 트리 탐색 통합으로 상태 공간의 체계적 탐색이 가능해져 계획의 품질과 신뢰도가 향상되었다.
• 결과는 기능적 전문화와 PFC 하위 영역을 모델로 한 LLM 모듈 간의 조율된 상호작용이 표준 프롬프팅 방식을 뛰어넘는 계획 능력을 향상시킬 수 있다는 가설을 지지한다.

Figure 2: Graph Traversal. We investigated two graph traversal tasks utilizing a challenging graph with community structure. Steppath: Find shortest path between two nodes, e.g. node 3 and node 7. Valuepath: Find shortest path from starting location (e.g., node 10) to location with maximum reward (n