[论文解读] AutoAgents: A Framework for Automatic Agent Generation

Guangyao Chen, Siwei Dong+6 more|arXiv (Cornell University)|Sep 29, 2023

Topic Modeling被引用 5

一句话总结

AutoAgents 提出了一种动态框架，通过大型语言模型自动生成专业化、基于角色的智能体并协调其工作，以解决复杂任务。通过将任务分解为起草与执行两个阶段，并结合自我反思与协同优化，该框架在推理、知识融合及创造性任务方面均优于静态多智能体系统。

ABSTRACT

Large language models (LLMs) have enabled remarkable advances in automated task-solving with multi-agent systems. However, most existing LLM-based multi-agent approaches rely on predefined agents to handle simple tasks, limiting the adaptability of multi-agent collaboration to different scenarios. Therefore, we introduce AutoAgents, an innovative framework that adaptively generates and coordinates multiple specialized agents to build an AI team according to different tasks. Specifically, AutoAgents couples the relationship between tasks and roles by dynamically generating multiple required agents based on task content and planning solutions for the current task based on the generated expert agents. Multiple specialized agents collaborate with each other to efficiently accomplish tasks. Concurrently, an observer role is incorporated into the framework to reflect on the designated plans and agents' responses and improve upon them. Our experiments on various benchmarks demonstrate that AutoAgents generates more coherent and accurate solutions than the existing multi-agent methods. This underscores the significance of assigning different roles to different tasks and of team cooperation, offering new perspectives for tackling complex tasks. The repository of this project is available at https://github.com/Link-AGI/AutoAgents.

研究动机与目标

• 解决现有多智能体系统在应对多样化任务时适应性有限的问题，这些系统依赖预定义的手动设计智能体。
• 克服为不同领域手动设计专家智能体所导致的人力资源成本高与灵活性差的问题。
• 实现动态的、面向任务的智能体团队构建，以适应复杂多领域问题的需求。
• 通过生成智能体之间的自我反思与协同优化机制，提升解决方案质量。
• 在多样化的复杂任务（如创意写作与软件开发）中证明该框架的有效性。

提出的方法

• 基于任务内容，通过提示工程与角色特定指令，动态生成专业化智能体。
• 将流程划分为两个阶段：(1) 起草——预定义智能体（规划者、智能体观察者、计划观察者）协作规划，生成团队与计划；(2) 执行——智能体协同生成输出，并引入反馈回路。
• 引入行动观察者智能体，以协调行动、共享信息并维持执行过程中的共识。
• 实施自我优化，使单个智能体通过内部反思改进自身输出。
• 应用协同优化，使多个智能体通过跨领域知识融合，共同修订计划与输出。
• 利用 GPT-4 作为底层大语言模型，生成并协调智能体，提示词根据角色（如故事规划者、研究员、角色开发者、写作者）进行定制。

实验结果

研究问题

• RQ1 与静态或手工设计的智能体系统相比，动态智能体生成是否能显著提升在复杂多领域任务上的性能？
• RQ2 自我反思与协同优化在提升智能体能力与解决方案一致性方面的有效性如何？
• RQ3 角色专业化与团队协调在提升基于大语言模型的智能体推理与知识融合能力方面的作用有多大？
• RQ4 该框架在创意写作与软件开发等多样化任务上的泛化能力如何？
• RQ5 在规划准确性与角色区分度方面，动态智能体生成存在哪些局限性？

主要发现

• 在基准任务上，AutoAgents 在知识获取与推理能力方面均优于现有多智能体框架。
• 该框架生成的解决方案比单智能体基线模型与静态多智能体系统更具连贯性与准确性，尤其在需要跨领域知识融合的任务中表现更优。
• 动态智能体生成显著提升了对复杂任务的适应能力，这在开放式创意写作与软件开发场景中得到验证。
• 自我反思与协同优化显著提升了解决方案质量，使智能体生成的输出更加一致与可靠。
• 引入行动观察者有效提升了协调性与共识构建能力，减少了冲突并提高了执行效率。
• 案例研究显示，AutoAgents 能够将复杂任务分解为结构化工作流，并生成保持连贯性与相关性的领域特定智能体。