[논문 리뷰] TPTU: Large Language Model-based AI Agents for Task Planning and Tool Usage

Jingqing Ruan, Yihong Chen외 9명|arXiv (Cornell University)|2023. 08. 07.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 작업 계획 수립 및 도구 사용(TPTU)을 수행하기 위한 LLM 기반 AI 에이전트를 위한 구조화된 프레임워크를 제시하고, 일단계 에이전트와 순차 에이전트를 도입하며, 다양한 LLM을 대상으로 계획 및 도구 사용 작업에서 상세한 경험적 결과를 평가합니다.

ABSTRACT

With recent advancements in natural language processing, Large Language Models (LLMs) have emerged as powerful tools for various real-world applications. Despite their prowess, the intrinsic generative abilities of LLMs may prove insufficient for handling complex tasks which necessitate a combination of task planning and the usage of external tools. In this paper, we first propose a structured framework tailored for LLM-based AI Agents and discuss the crucial capabilities necessary for tackling intricate problems. Within this framework, we design two distinct types of agents (i.e., one-step agent and sequential agent) to execute the inference process. Subsequently, we instantiate the framework using various LLMs and evaluate their Task Planning and Tool Usage (TPTU) abilities on typical tasks. By highlighting key findings and challenges, our goal is to provide a helpful resource for researchers and practitioners to leverage the power of LLMs in their AI applications. Our study emphasizes the substantial potential of these models, while also identifying areas that need more investigation and improvement.

연구 동기 및 목표

• 오픈 소스 LLM의 TPTU 능력을 평가하기 위한 구조화된 프레임워크를 제안합니다.
• 추론 전략을 연구하기 위한 두 가지 에이전트 유형(일단계 및 순차)을 설계합니다.
• 다양한 LLM으로 프레임워크를 구현하고 계획 및 도구 사용 성능을 평가합니다.
• LLM 기반 에이전트의 약점을 식별하여 향후 연구를 안내합니다.

제안 방법

• 6 구성 요소 AI 에이전트 프레임워크 정의: Task Instruction, Designed Prompt, Tool Set, LLM, Intermediate Output, Final Answer.
• 두 가지 에이전트 아키텍처 도입: One-step Agent (TPTU-OA) 와 Sequential Agent (TPTU-SA).
• 맞춤형 프롬프트를 활용하여 도구 순서 및 하위 작업 설명을 포함한 계획 능력을 평가합니다.
• 정의된 12개 도구 세트(예: SQL generator, Python generator, weather query, translator 등) 전반의 도구 사용 평가.
• 다양한 LLMs를 테스트(ChatGPT, Claude, InternLM, Ziya, ChatGLM, Chinese-Alpaca-Plus 등).
• 프롬프트 설계의 강점, 약점 및 도구 사용에 미치는 영향을 분석하여 결과를 해석합니다.

실험 결과

연구 질문

• RQ1 TPTU-OA와 TPTU-SA가 도구를 사용하는 순서를 얼마나 잘 계획할 수 있습니까?
• RQ2 LLM 기반 에이전트가 정확한 도구-하위 작업 쌍을 생성하고 서로 관련 없는 도구로 작동할 수 있습니까?
• RQ3 다양한 LLM이 TPTU 프레임워크 내에서 SQL 및 수학/코드 생성에서 어떻게 수행합니까?
• RQ4 작업 계획 및 도구 사용을 위한 LLM 기반 AI 에이전트의 주요 강점과 약점은 무엇입니까?

주요 결과

• 모델에 따라 도구 순서 계획의 정확도가 다르며, 일부는 특정 설정에서 100%를 달성합니다(예: Table 3의 ChatGPT 및 Claude).
• Plan-and-subtask-generation 방식은 하위 작업 설명이 포함된 도구 순서를 생성할 때 정확도가 감소하지만, unity tool-subtask 쌍 프롬프트는 성능을 향상시키며(공통 형식의 52.9% 증가를 언급) 특히 주목됩니다.
• 순차 에이전트(TPTU-SA)가 일반적으로 고성능 LLM에서 일단계 에이전트(TPTU-OA)보다 더 우수한 성능을 보입니다.
• 잘 설계된 프롬프트를 통해 서로 관련 없는 도구에 대한 구분이 가능하며 도구 선택의 효과를 나타냅니다.
• 단일 도구 SQL 생성을 위한 정확도가 일부 모델에서 높습니다(ChatGPT 90%, Claude 100%, InternLM 90% 등), 다른 경우에는 교차 모델 변동이 큽니다.
• 복합 SQL 및 수학 코드를 포함한 생성 결과는 모델 및 프롬팅 방식(CoT 대 직접 안내)에 따라 다르며 모델 의존적인 강점을 강조합니다.