[论文解读] AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation

Qingyun Wu|arXiv (Cornell University)|Aug 16, 2023

Multi-Agent Systems and Negotiation被引用 144

一句话总结

AutoGen 提供一个通用的、开源框架，用于通过可定制、可对话的代理在多方对话中合作，构建 LLM 应用，支持各种模式以及工具/人工集成。

ABSTRACT

AutoGen is an open-source framework that allows developers to build LLM applications via multiple agents that can converse with each other to accomplish tasks. AutoGen agents are customizable, conversable, and can operate in various modes that employ combinations of LLMs, human inputs, and tools. Using AutoGen, developers can also flexibly define agent interaction behaviors. Both natural language and computer code can be used to program flexible conversation patterns for different applications. AutoGen serves as a generic infrastructure to build diverse applications of various complexities and LLM capacities. Empirical studies demonstrate the effectiveness of the framework in many example applications, with domains ranging from mathematics, coding, question answering, operations research, online decision-making, entertainment, etc.

研究动机与目标

• 通过多代理协作，激发并实现可扩展的 LLM 应用开发。
• 定义可对话的代理和以对话为中心的编程范式，以简化复杂工作流。
• 提供内置代理和灵活的控制模式，适用于跨领域的多样化应用。
• 展示实际应用，体现性能和开发效率的提升。

提出的方法

• 引入可对话的代理，能够将 LLMs、人工和工具结合起来实现模块化协作。
• 将对话编程呈现为统一范式，将计算与对话驱动的控制流结合起来。
• 描述统一的代理接口，具备自动回复机制，以实现自主的多代理对话。
• 允许以自然语言提示和 Python 代码两种形式表达控制，并在两者之间切换。
• 展示一组内置代理与模式，以及用于动态群聊的 GroupChatManager。

Figure 1 : AutoGen enables diverse LLM-based applications using multi-agent conversations. (Left) AutoGen agents are conversable, customizable, and can be based on LLMs, tools, humans, or even a combination of them. (Top-middle) Agents can converse to solve tasks. (Right) They can form a chat, poten

实验结果

研究问题

• RQ1 如何设计可重复使用、可定制的代理，在多代理 LLM 系统中实现有效协作？
• RQ2 如何通过统一接口和编程范式支持多样化的代理对话模式？
• RQ3 多代理对话框架是否能够在如数学求解、问答、代码生成和决策等任务中实现更高的性能和开发效率？

主要发现

• AutoGen 在数学题解、问答和编码场景等若干任务上，相对基线呈现具有竞争力或更优的性能。
• 动态的多代理对话模式降低开发工作量，并实现灵活的人机在环与工具使用。
• 对齐与模块化代理角色（例如对齐代理、守卫等）提升在决策和代码生成任务中的鲁棒性。
• 该框架支持动态群聊和比静态往返更丰富的交互模式。
• 实验显示显著的生产力提升，包括代码行数减少和开发周期加快。

Figure 2 : Illustration of how to use AutoGen to program a multi-agent conversation. The top sub-figure illustrates the built-in agents provided by AutoGen , which have unified conversation interfaces and can be customized. The middle sub-figure shows an example of using AutoGen to develop a two-age