[논문 리뷰] AutoAgents: A Framework for Automatic Agent Generation

Guangyao Chen, Siwei Dong외 6명|arXiv (Cornell University)|2023. 09. 29.

Topic Modeling인용 수 5

한 줄 요약

AutoAgents는 대규모 언어 모델을 사용하여 전문화된 역할 기반 에이전트를 자동으로 생성하고 이를 조율함으로써 복잡한 작업 해결을 위한 동적 프레임워크를 제안한다. 작업을 초안 작성 단계와 실행 단계로 분해하고, 자기 및 상호 협력적 개선을 통해 기존 정적 다중 에이전트 시스템에 비해 추론, 지식 융합 및 창의적 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Large language models (LLMs) have enabled remarkable advances in automated task-solving with multi-agent systems. However, most existing LLM-based multi-agent approaches rely on predefined agents to handle simple tasks, limiting the adaptability of multi-agent collaboration to different scenarios. Therefore, we introduce AutoAgents, an innovative framework that adaptively generates and coordinates multiple specialized agents to build an AI team according to different tasks. Specifically, AutoAgents couples the relationship between tasks and roles by dynamically generating multiple required agents based on task content and planning solutions for the current task based on the generated expert agents. Multiple specialized agents collaborate with each other to efficiently accomplish tasks. Concurrently, an observer role is incorporated into the framework to reflect on the designated plans and agents' responses and improve upon them. Our experiments on various benchmarks demonstrate that AutoAgents generates more coherent and accurate solutions than the existing multi-agent methods. This underscores the significance of assigning different roles to different tasks and of team cooperation, offering new perspectives for tackling complex tasks. The repository of this project is available at https://github.com/Link-AGI/AutoAgents.

연구 동기 및 목표

• 다양한 작업에 대해 사전 정의된 수동으로 설계된 에이전트에 의존하는 기존 다중 에이전트 시스템의 제한된 적응 가능성 문제를 해결한다.
• 다양한 도메인에 맞게 전문 에이전트를 수동으로 설계하는 데 드는 높은 인적 자원 비용과 유연성 부족 문제를 해결한다.
• 복잡한 다중 도메인 문제의 요구사항에 맞게 동적으로 작업에 특화된 에이전트 팀을 구성할 수 있도록 한다.
• 생성된 에이전트 간 자기 반성 및 상호 협력적 개선 메커니즘을 통해 해결 품질을 향상시킨다.
• 창의적 글쓰기 및 소프트웨어 개발과 같은 다양한 복잡한 작업에서 프레임워크의 효과성을 입증한다.

제안 방법

• 프롬프트 엔지니어링과 역할 기반 지침을 활용해 작업 내용에 따라 전문화된 에이전트를 동적으로 생성한다.
• 과정을 두 단계로 구조화한다: (1) 초안 작성 — 사전 정의된 에이전트(기획자, 에이전트 관찰자, 계획 관찰자) 간의 협력적 계획 수립을 통해 팀과 계획을 생성함; (2) 실행 — 에이전트들이 피드백 루프를 통해 공동으로 출력물을 생성함.
• 실행 중 동작 조율, 정보 공유, 공감대 형성을 위해 액션 관찰자 에이전트를 도입한다.
• 개별 에이전트가 내부 반성 과정을 통해 자신의 출력물을 향상시키는 자기 개선 기법을 구현한다.
• 다양한 도메인의 지식 융합을 활용해 다수의 에이전트가 공동으로 계획과 출력물을 수정하는 상호 협력적 개선 기법을 적용한다.
• GPT-4를 기반 언어 모델로 활용하여 에이전트를 생성하고 조율하며, 스토리 기획자, 연구자, 캐릭터 개발자, 작가 등의 역할에 맞는 프롬프트를 특화 적용한다.

실험 결과

연구 질문

• RQ1 정적 또는 수동으로 설계된 에이전트 시스템에 비해 동적 에이전트 생성이 복잡하고 다중 도메인 작업에서 성능 향상에 크게 기여하는가?
• RQ2 자기 반성 및 상호 협력적 개선이 에이전트의 전문성 향상과 해결책의 통일성 향상에 얼마나 효과적인가?
• RQ3 역할 특화 및 팀 협업이 LLM 기반 에이전트의 추론 능력과 지식 융합 능력 향상에 어느 정도 기여하는가?
• RQ4 창의적 글쓰기 및 소프트웨어 개발과 같은 다양한 작업에 대해 이 프레임워크의 일반화 능력은 어느 정도인가?
• RQ5 계획 정확도와 역할의 독창성 측면에서 동적 에이전트 생성의 한계는 무엇인가?

주요 결과

• AutoAgents는 벤치마크 작업에서 지식 확보 능력과 추론 능력 모두 기존 다중 에이전트 프레임워크를 능가한다.
• 특히 다중 도메인 지식 융합이 필요한 작업에서 단일 에이전트 기반 기준 및 정적 다중 에이전트 시스템보다 더 통일성 있고 정확한 해결책을 생성한다.
• 복잡한 작업에 대한 적응 능력 향상이 입증되었으며, 개방형 창의적 글쓰기 및 소프트웨어 개발 시나리오에서 뚜렷한 효과를 보였다.
• 자기 반성 및 상호 협력적 개선은 해결책 품질을 크게 향상시키며, 에이전트가 더 일관되고 신뢰할 수 있는 출력물을 생성하도록 했다.
• 액션 관찰자 포함으로 협업 및 공감대 형성이 향상되어 갈등이 감소하고 실행 효율성이 향상되었다.
• 사례 연구를 통해 AutoAgents가 복잡한 작업을 구조화된 워크플로우로 분해하고, 도메인 특화된 에이전트를 생성하여 통일성과 관련성을 유지할 수 있음을 보여주었다.