[논문 리뷰] An In-depth Survey of Large Language Model-based Artificial Intelligence Agents

Pengyu Zhao, Zijian Jin외 1명|arXiv (Cornell University)|2023. 09. 23.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Model, LLM) 기반 인공지능 에이전트에 대한 종합적인 서베이를 제시하며, 핵심 구성 요소인 계획 수립, 기억, 도구 사용을 체계적으로 분석하고 새로운 기억 분류 체계를 도입한다. LLM 기반 에이전트와 전통적 에이전트를 대비하여 그 일반화 및 추론 능력의 우수성을 강조하며, 에이전트 아키텍처 및 평가 기준 분야의 향후 연구 방향을 규명한다.

ABSTRACT

Due to the powerful capabilities demonstrated by large language model (LLM), there has been a recent surge in efforts to integrate them with AI agents to enhance their performance. In this paper, we have explored the core differences and characteristics between LLM-based AI agents and traditional AI agents. Specifically, we first compare the fundamental characteristics of these two types of agents, clarifying the significant advantages of LLM-based agents in handling natural language, knowledge storage, and reasoning capabilities. Subsequently, we conducted an in-depth analysis of the key components of AI agents, including planning, memory, and tool use. Particularly, for the crucial component of memory, this paper introduced an innovative classification scheme, not only departing from traditional classification methods but also providing a fresh perspective on the design of an AI agent's memory system. We firmly believe that in-depth research and understanding of these core components will lay a solid foundation for the future advancement of AI agent technology. At the end of the paper, we provide directional suggestions for further research in this field, with the hope of offering valuable insights to scholars and researchers in the field.

연구 동기 및 목표

• LLM 기반 AI 에이전트와 전통적 AI 에이전트를 체계적으로 비교하여 자연어 이해, 지식 저장, 추론 능력에서의 우월성을 강조한다.
• 계획 수립, 기억, 도구 사용과 같은 핵심 AI 에이전트 구성 요소를 깊이 있게 분석하며, 특히 혁신적인 기억 분류에 초점을 맞춘다.
• AgentBench, GentBench, API Bank 등의 최신 벤치마크를 통해 LLM 기반 에이전트의 성능을 평가한다.
• 강화학습 기반 에이전트에서 일반화, 보상 형성, 도메인 적응과 관련된 주요 과제를 규명한다.
• 실세계 응용 분야에서 LLM 기반 에이전트 기술을 발전시키기 위한 실질적인 연구 방향을 제시한다.

제안 방법

• 논문은 LLM 기반 AI 에이전트에 대한 체계적인 문헌 리뷰를 수행하며, 아키텍처 구성 요소와 응용 분야에 중점을 둔다.
• 기존 분류 체계에서 벗어나 새로운 설계 통찰을 제공하는 AI 에이전트 기억에 대한 혁신적인 분류 체계를 도입한다.
• WebShop, HotPotQA, Minecraft 기반 시뮬레이터, API Bank 등을 포함한 다양한 벤치마크를 사용하여 에이전트 성능을 평가한다.
• 비디오-대화형 모델(Vision-Language Models, VLMs)을 통합한 다중모달 에이전트, 예를 들어 PaLM-E와 Video-ChatGPT를 분석하여 신체적 추론 및 시각적 지시 따르기와 같은 과제에서의 성능 향상을 분석한다.
• 개방형 환경에서 LLM 에이전트(VOYAGER 등)와 전통적 강화학습 기반 에이전트를 비교 분석하는 방법을 포함한다.
• 특히 복잡한 다단계 과제에서 도구 사용, 추론, 계획 수립에 관한 최근 연구 성과를 종합하여 분석한다.

실험 결과

연구 질문

• RQ1 LLM 기반 AI 에이전트는 추론, 일반화, 적응 능력 측면에서 전통적인 규칙 기반 또는 강화학습 기반 에이전트와 근본적으로 어떻게 다를까?
• RQ2 LLM 기반 AI 에이전트의 핵심 구성 요소는 무엇이며, 이들이 에이전트의 자율성과 성능에 어떻게 기여하는가?
• RQ3 기존 카테고리 외로 기억을 체계적으로 분류할 수 있는 방법은 무엇이며, 이러한 새로운 분류 체계는 어떤 설계 함의를 지닌다?
• RQ4 계획 수립, 도구 사용, 다중모달 추론 분야에서 LLM 기반 에이전트를 평가하는 데 가장 효과적인 벤치마크는 무엇인가?
• RQ5 실세계의 동적 환경에 LLM 기반 에이전트를 구현할 때 발생하는 주요 과제와 열린 연구 문제들은 무엇인가?

주요 결과

• LLM 기반 에이전트는 특히 Minecraft 환경에서의 제로샷 또는 피셔샷 설정과 같은 상황에서 기존 강화학습 기반 에이전트에 비해 뛰어난 일반화 능력과 데이터 효율성을 보여준다.
• 논문에서 제안한 새로운 기억 분류 체계는 기존의 에피소딕, 의미적, 워킹 기억의 구분을 넘어서 기억 시스템 설계에 새로운 프레임워크를 제공한다.
• VOYAGER와 같은 에이전트는 과제 특화 미세조정 없이도 개방형 과제에서 뛰어난 성능을 발휘하며, 사전 학습된 지식을 효과적으로 활용해 계획 수립과 도구 사용을 수행한다.
• 비디오-대화형 모델(Vision-Language Models, VLMs)을 사용하는 다중모달 에이전트(PaLM-E, Video-ChatGPT 등)는 시각적 및 텍스처적 입력을 효과적으로 통합함으로써 신체적 AI 및 시각적 지시 따르기 과제에서 성능 향상을 보였다.
• AgentBench와 GentBench와 같은 벤치마크는 LLM 기반 에이전트가 복잡한 다단계 추론 및 도구 사용 과제에서 제약 조건이나 동적 조건 하에서도 여전히 도전 과제에 직면해 있음을 드러낸다.
• 진전이 있었음에도 불구하고, 보상 형성, 수렴성, 도메인 적응성 문제 등은 강화학습 기반 에이전트를 실세계 시나리오에 구현하는 데 있어 여전히 주요 장벽으로 남아 있다.