[논문 리뷰] A Survey on Large Language Model based Autonomous Agents

Lei Wang, Chen Ma외 11명|arXiv (Cornell University)|2023. 08. 22.

Topic Modeling인용 수 113

한 줄 요약

이 설문조사는 LLM 기반 자율 에이전트를 집계하고 분석하며, 통합 아키텍처(프로파일링, 메모리, 플래닝, 액션)를 제안하고, 구성, 응용 및 평가를 검토하며, 분류체계와 향후 방향을 제시한다.

ABSTRACT

Autonomous agents have long been a prominent research focus in both academic and industry communities. Previous research in this field often focuses on training agents with limited knowledge within isolated environments, which diverges significantly from human learning processes, and thus makes the agents hard to achieve human-like decisions. Recently, through the acquisition of vast amounts of web knowledge, large language models (LLMs) have demonstrated remarkable potential in achieving human-level intelligence. This has sparked an upsurge in studies investigating LLM-based autonomous agents. In this paper, we present a comprehensive survey of these studies, delivering a systematic review of the field of LLM-based autonomous agents from a holistic perspective. More specifically, we first discuss the construction of LLM-based autonomous agents, for which we propose a unified framework that encompasses a majority of the previous work. Then, we present a comprehensive overview of the diverse applications of LLM-based autonomous agents in the fields of social science, natural science, and engineering. Finally, we delve into the evaluation strategies commonly used for LLM-based autonomous agents. Based on the previous studies, we also present several challenges and future directions in this field. To keep track of this field and continuously update our survey, we maintain a repository of relevant references at https://github.com/Paitesanshi/LLM-Agent-Survey.

연구 동기 및 목표

• LLMs가 왜 자율 에이전트를 가능하게 하는지와 기존 연구의 격차를 설명한다.
• 대부분의 기존 LLM 기반 에이전트 설계를 포괄할 수 있는 통합 아키텍처 프레임워크를 제시한다.
• 에이전트의 능력과 한계를 이해하기 위해 메모리, 플래닝, 프로파일링 모듈을 조사한다.
• 사회과학, 자연과학, 공학 전반의 응용을 요약하고 평가 방법을 논의한다.
• LLM 기반 자율 에이전트 연구를 이끄는 도전과제와 향후 방향을 식별한다.]
• method3-6
• - 프로파일링, 메모리, 플래닝, 액션 모듈을 포함하는 통일된 에이전트 아키텍처를 제안한다.
• - 메모리 구조를 단기(통합) 메모리와 장기 저장 및 검색이 포함된 하이브리드 메모리로 분류한다.
• - 피드백이 있는 계획 전략과 없는 계획 전략을 조사하며, 단일 경로, 다경로, 외부 플래너 통합을 포함한다.
• - 프로파일링 전략(수작업, LLM 생성, 데이터셋에 맞춘)과 이들이 에이전트 행동에 미치는 영향을 검토한다.
• - 외부 소스와 선행 연구를 요약하여 분류체계를 구성하고 향후 개발을 방향짓는다.

제안 방법

• 프로파일링, 메모리, 플래닝, 액션 모듈을 포함하는 통일된 에이전트 아키텍처를 제안한다.
• 메모리 구조를 단기(통합) 메모리와 장기 저장 및 검색이 포함된 하이브리드 메모리로 분류한다.
• 피드백이 있는 계획 전략과 없는 계획 전략을 조사하며, 단일 경로, 다경로, 외부 플래너 통합을 포함한다.
• 프로파일링 전략(수작업, LLM 생성, 데이터셋에 맞춘)과 이들이 에이전트 행동에 미치는 영향을 검토한다.
• 외부 소스와 선행 연구를 요약하여 분류체계를 구성하고 향후 개발을 방향짓는다.

Figure 1: Illustration of the growth trend in the field of LLM-based autonomous agents. We present the cumulative number of papers published from January 2021 to August 2023. We assign different colors to represent various agent categories. For example, a game agent aims to simulate a game-player, w

실험 결과

연구 질문

• RQ1 LLMs를 자율 에이전트로 활용할 때 가장 효과적인 아키텍처와 모듈은 무엇인가?
• RQ2 메모리 및 플래닝 전략이 개방형 환경에서 에이전트의 성능과 안정성에 어떻게 기여하는가?
• RQ3 의도된 역할에 맞춰 행동을 정렬하기 위한 에이전트 프로파일링의 모범 사례는 무엇인가?
• RQ4 LLM 기반 에이전트가 어떻게 평가되고 있으며 벤치마킹에 남아 있는 도전과제는 무엇인가?

주요 결과

• 프로파일링, 메모리, 플래닝, 액션의 네 모듈로 이루어진 통합 프레임워크가 대부분의 기존 LLM 기반 에이전트 설계를 포괄할 수 있다.
• 단기와 장기의 기억을 결합한 하이브리드 메모리가 장기적 추론과 일관성을 개선하기 위해 일반적으로 사용된다.
• 피드백이 있는 플래닝(환경적, 인간, 모델)은 피드백 없는 플래닝에 비해 계획의 견고함을 강화한다.
• 메모리는 자연어, 임베딩, 데이터베이스, 또는 구조화된 목록에 저장될 수 있으며, 형식은 이점 창출을 위해 종종 결합된다.
• 연구자들은 단일 경로 계획, 다경로 계획, 외부 플래너 및 피드백 중심 루프를 활용하여 복잡한 작업을 처리한다.

Figure 2: A unified framework for the architecture design of LLM-based autonomous agent.