[논문 리뷰] Large Multimodal Agents: A Survey

Junlin Xie, Zhihong Chen외 3명|arXiv (Cornell University)|2024. 02. 23.

Speech and dialogue systems인용 수 10

한 줄 요약

이 설문조사는 LLM 주도 대형 다중모달 에이전트(LMAs)를 분석하고, 네 가지 유형의 분류법을 제시하며, 협업 프레임워크를 검토하고, 표준화된 평가 프레임워크와 향후 방향을 제공한다.

ABSTRACT

Large language models (LLMs) have achieved superior performance in powering text-based AI agents, endowing them with decision-making and reasoning abilities akin to humans. Concurrently, there is an emerging research trend focused on extending these LLM-powered AI agents into the multimodal domain. This extension enables AI agents to interpret and respond to diverse multimodal user queries, thereby handling more intricate and nuanced tasks. In this paper, we conduct a systematic review of LLM-driven multimodal agents, which we refer to as large multimodal agents ( LMAs for short). First, we introduce the essential components involved in developing LMAs and categorize the current body of research into four distinct types. Subsequently, we review the collaborative frameworks integrating multiple LMAs , enhancing collective efficacy. One of the critical challenges in this field is the diverse evaluation methods used across existing studies, hindering effective comparison among different LMAs . Therefore, we compile these evaluation methodologies and establish a comprehensive framework to bridge the gaps. This framework aims to standardize evaluations, facilitating more meaningful comparisons. Concluding our review, we highlight the extensive applications of LMAs and propose possible future research directions. Our discussion aims to provide valuable insights and guidelines for future research in this rapidly evolving field. An up-to-date resource list is available at https://github.com/jun0wanan/awesome-large-multimodal-agents.

연구 동기 및 목표

• LMAs의 핵심 구성요소(지각, 계획, 행동, 기억)를 소개한다.
• LMAs의 네 가지 유형 분류법을 제안하고 설계상의 트레이드오프를 논의한다.
• 성능 향상을 위한 다중 에이전트 협업 프레임워크를 검토한다.
• 평가 방법론을 개괄하고 LMAs를 위한 표준화된 프레임워크를 제안한다.
• 응용 사례를 요약하고 향후 연구 방향을 제시한다.

제안 방법

• 플래너와 기억에 따라 기존 연구를 네 가지 LMA 유형으로 분류한다(유형 I–IV).
• 지각, 계획, 행동 및 기억 구성요소와 그 구현을 설명한다(참조된 표와 그림).
• 다중 LMAs와 기억 기반 아키텍처를 위한 협업 프레임워크를 논의한다.
• 주관적·객관적 지표, 벤치마크, 과제 등 평가 방법을 요약한다.
• 공개 저장소를 통해 LMAs의 최신 리소스 목록을 제공한다.

Figure 1: Representative research papers from top AI conferences on LLM-powered multimodal agents, published between November 2022 and February 2024, are categorized by model names, with earlier publication dates corresponding to names listed earlier.

실험 결과

연구 질문

• RQ1 LMAs의 필수 구성요소는 무엇이며 이들은 어떻게 상호 작용하는가?
• RQ2 플래너 유형과 기억에 기반하여 LMAs를 포괄적 분류체계(유형 I–IV)로 어떻게 분류할 수 있는가?
• RQ3 어떤 협업 프레임워크가 효과적인 다중 에이전트 LMA 시스템을 가능하게 하는가?
• RQ4 공정한 비교와 진행 추적을 가능하게 하려면 LMAs를 어떻게 평가해야 하는가?
• RQ5 LMAs의 주요 실세계 응용 및 향후 방향은 무엇인가?

주요 결과

• LMAs는 플래너 특성과 기억 통합을 기반으로 네 가지 유형(유형 I–IV)으로 분류된다.
• 기억 메커니즘(단기/장기)은 LMA의 능력과 일반화에 상당한 영향을 미친다.
• LMA 간 비교를 표준화하기 위해 통합된 평가 프레임워크와 벤치마크가 필요하다.
• 협업형 다중 에이전트 프레임워크는 작업 성능을 향상시키고 에이전트 간 작업 분산을 가능하게 한다.
• 본 설문은 광범위한 응용 분야(그래픽 사용자 인터페이스 자동화, 로봇 공학, 게임 인공지능, 자율주행, 비디오 이해 등)를 강조하며 최신 LMAs를 위한 GitHub 리소스를 제공한다.

Figure 2: Illustrations on four types of LMAs : (a) Type I: Closed-source LLMs as Planners w/o Long-term Memory. They mainly use prompt techniques to guide closed-source LLMs in decision-making and planning to complete tasks without long memory. (b) Type II:Finetuned LLMs as Planners w/o Long-term M