[논문 리뷰] Exploring Large Language Model based Intelligent Agents: Definitions, Methods, and Prospects

Yuheng Cheng, Ceyao Zhang외 9명|arXiv (Cornell University)|2024. 01. 07.

Topic Modeling인용 수 36

한 줄 요약

LLM 기반 지능형 에이전트에 대한 포괄적 조사로 정의, 단일 에이전트 및 다중 에이전트 프레임워크, 핵심 구성요소, 평가, 데이터셋, 응용 분야, 그리고 미래 방향을 다룬다.

ABSTRACT

Intelligent agents stand out as a potential path toward artificial general intelligence (AGI). Thus, researchers have dedicated significant effort to diverse implementations for them. Benefiting from recent progress in large language models (LLMs), LLM-based agents that use universal natural language as an interface exhibit robust generalization capabilities across various applications -- from serving as autonomous general-purpose task assistants to applications in coding, social, and economic domains, LLM-based agents offer extensive exploration opportunities. This paper surveys current research to provide an in-depth overview of LLM-based intelligent agents within single-agent and multi-agent systems. It covers their definitions, research frameworks, and foundational components such as their composition, cognitive and planning methods, tool utilization, and responses to environmental feedback. We also delve into the mechanisms of deploying LLM-based agents in multi-agent systems, including multi-role collaboration, message passing, and strategies to alleviate communication issues between agents. The discussions also shed light on popular datasets and application scenarios. We conclude by envisioning prospects for LLM-based agents, considering the evolving landscape of AI and natural language processing.

연구 동기 및 목표

• LLM 맥락에서 지능형 에이전트를 정의하고 RL 기반 에이전트와 대조한다.
• 주요 구성요소와 상호작용을 강조하는 LLM 기반 에이전트 시스템(단일 에이전트 및 다중 에이전트)을 위한 통합 프레임워크를 제시한다.
• LLM 기반 에이전트에 대한 기존 데이터셋, 평가 벤치마크, 및 일반적인 응용 영역을 요약한다.
• 다중 모달 모델 및 보안 고려사항을 포함한 도전과제, 동향 및 향후 방향에 대해 논의한다.

제안 방법

• 언어 모델, 목표, 메모리, 행동, 재고(rethink) 구성요소를 포착하는 다섯 요소 V=(L,O,M,A,R)로 LLM 기반 에이전트를 형식적으로 표현할 것을 제안한다.
• 에이전트 시스템을 단일 에이전트 패러다임과 다중 에이전트 패러다임으로 분류하고 그들의 메모리, 계획, 도구 사용 및 환경 상호작용에 대해 논의한다.
• LLM 에이전트의 계획 방법을 검토하고, 맥락 학습 접근(CoT, ToT, GoT 등)과 외부 계획 통합(PDDL, 기호 계획자, 몬테카를로 트리 탐색)을 포함한다.
• 메모리 아키텍처(단기 대 장기, 지식 그래프, 벡터 저장소, 데이터베이스, API 상호작용)와 그 검색 전략을 조사한다.
• 빠른 실험 및 배포를 지원하기 위한 에이전트 템플릿 및 개발 템플릿(ToolLLM, AutoGPT, LangChain 등)을 요약한다.

실험 결과

연구 질문

• RQ1 단일 에이전트 설정과 다중 에이전트 설정에서 LLM 기반 지능형 에이전트의 핵심 정의와 차이점은 무엇인가?
• RQ2 강건한 LLM 기반 에이전트를 가능하게 하는 가장 효과적인 아키텍처, 계획 전략, 메모리 시스템은 무엇인가?
• RQ3 현재 연구를 주도하는 데이터셋, 벤치마크 및 응용 분야는 무엇이며, 어떤 도전과제와 방향이 향후 연구를 이끈가?

주요 결과

• LLM 기반 에이전트는 자연어 추론과 계획 및 행동 실행을 결합하여 강한 일반화와 인터랙티브한 가능성을 제시한다.
• 단일 에이전트 시스템과 다중 에이전트 시스템은 메모리, 환경 상호작용, 도구 사용, 커뮤니케이션 전략 등 서로 다른 설계 고려사항을 제시한다.
• LLM 기반 에이전트의 계획은 맥락 내 추론 기술(CoT, ToT, GoT 등)을 활용하고 외부 계획자나 몬테카를로 방법으로 보강될 수 있다.
• 메모리 아키텍처는 단기 대 대화 기록에서 지식 그래프, 벡터 데이터베이스, API를 통한 장기 저장에 이르기까지 다양하며, 기억 회상과 지식 관리가 가능하게 한다.
• 도구LLM, AutoGPT, LangChain 등과 같은 풍부한 템플릿과 프레임워크가 LLM 기반 에이전트의 신속한 개발과 실험을 지원한다.
• 본 조사는 자연과 사회과학, 공학 및 일반 자율 작업에 걸친 다양한 응용 분야를 개관하고 맥락 길이, 지식 업데이트, 보안과 같은 도전과제를 논의한다.