[논문 리뷰] AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation

Qingyun Wu|arXiv (Cornell University)|2023. 08. 16.

Multi-Agent Systems and Negotiation인용 수 144

한 줄 요약

AutoGen은 다중 에이전트 대화를 통해 협력하는 커스터마이즈 가능한 대화형 에이전트를 통한 LLM 애플리케이션 구축을 위한 일반적이고 오픈 소스 프레임워크를 제공한다.

ABSTRACT

AutoGen is an open-source framework that allows developers to build LLM applications via multiple agents that can converse with each other to accomplish tasks. AutoGen agents are customizable, conversable, and can operate in various modes that employ combinations of LLMs, human inputs, and tools. Using AutoGen, developers can also flexibly define agent interaction behaviors. Both natural language and computer code can be used to program flexible conversation patterns for different applications. AutoGen serves as a generic infrastructure to build diverse applications of various complexities and LLM capacities. Empirical studies demonstrate the effectiveness of the framework in many example applications, with domains ranging from mathematics, coding, question answering, operations research, online decision-making, entertainment, etc.

연구 동기 및 목표

• 다중 에이전트 협업을 통해 LLM 애플리케이션의 확장 가능한 개발을 촉진하고 가능하게 한다.
• 대화 가능한 에이전트를 정의하고 대화 중심의 프로그래밍 패러다임으로 복잡한 워크플로를 단순화한다.
• 다양한 도메인에 걸친 다양한 응용에 대해 내장된 에이전트와 유연한 제어 패턴을 제공한다.
• 성능 및 개발 효율성 향상을 보여주는 실용적 응용 사례를 시연한다.

제안 방법

• LLMs, 인간, 도구를 결합해 모듈식 협력을 가능하게 하는 대화 가능한 에이전트를 도입한다.
• 계산과 대화 기반 제어 흐름을 결합하는 통합 패러다임으로 대화 프로그래밍을 제시한다.
• 자율적인 다중 에이전트 대화를 가능하게 하는 자동 응답 메커니즘이 있는 통합 에이전트 인터페이스를 설명한다.
• 제어를 자연어 프롬프트와 Python 코드 모두로 표현할 수 있도록 하고, 모드 간 전환을 지원한다.
• 내장 에이전트 및 패턴 세트와 동적 그룹 채팅을 위한 GroupChatManager를 선보인다.

Figure 1 : AutoGen enables diverse LLM-based applications using multi-agent conversations. (Left) AutoGen agents are conversable, customizable, and can be based on LLMs, tools, humans, or even a combination of them. (Top-middle) Agents can converse to solve tasks. (Right) They can form a chat, poten

실험 결과

연구 질문

• RQ1 다중 에이전트 LLM 시스템에서 효과적으로 협력하는 재사용 가능하고 사용자 정의 가능한 에이전트를 어떻게 설계할 수 있을까?
• RQ2 통합 인터페이스와 프로그래밍 패러다임이 다양한 에이전트 대화 패턴을 어떻게 지원할 수 있을까?
• RQ3 수학 문제 해결, QA, 코드 생성, 의사 결정과 같은 작업에서 다중 에이전트 대화 프레임워크가 우수한 성능과 개발 효율성을 달성할 수 있을까?

주요 결과

• AutoGen은 수학 문제 해결, QA 및 코딩 시나리오에서 기준선과 비교해 경쟁력 있거나 우수한 성능을 제공합니다.
• 동적 다중 에이전트 대화 패턴은 개발 노력을 줄이고 사람-루프 및 도구 사용의 유연성을 가능하게 한다.
• 그라운딩 및 모듈식 에이전트 역할(예: 그라운딩 에이전트, 안전장치)이 의사 결정 및 코드 생성 작업의 강건성을 향상시킨다.
• 프레임워크는 동적 그룹 채팅 및 고정된 교환을 넘어서는 더 풍부한 상호 작용 패턴을 지원한다.
• 실험은 코드 줄 수 감소 및 더 빠른 개발 사이클을 포함한 상당한 생산성 향상을 보여준다.

Figure 2 : Illustration of how to use AutoGen to program a multi-agent conversation. The top sub-figure illustrates the built-in agents provided by AutoGen , which have unified conversation interfaces and can be customized. The middle sub-figure shows an example of using AutoGen to develop a two-age