[논문 리뷰] BMW Agents -- A Framework For Task Automation Through Multi-Agent Collaboration

N Crawford, Edward Duffy외 6명|arXiv (Cornell University)|2024. 06. 28.

Multi-Agent Systems and Negotiation인용 수 4

한 줄 요약

BMW Agents는 대규모 언어 모델(Large Language Models, LLMs)를 사용하여 산업 작업 자동화를 위한 확장성 있고 모듈식인 다중 에이전트 프레임워크를 제안한다. 이 프레임워크는 구조적 계획 수립, 도구 통합, 에피소딕 메모리 기반으로 협업 워크플로우를 가능하게 하여 다양한 기업 워크로드에서 견고하고 프로덕션 수준의 자동화를 달성한다. 재사용 가능한 에이전트 유닛, 인간의 피드백, 재시작 가능한 실행 방식을 통해 복잡한 실생활 응용 프로그램을 지원한다.

ABSTRACT

Autonomous agents driven by Large Language Models (LLMs) offer enormous potential for automation. Early proof of this technology can be found in various demonstrations of agents solving complex tasks, interacting with external systems to augment their knowledge, and triggering actions. In particular, workflows involving multiple agents solving complex tasks in a collaborative fashion exemplify their capacity to operate in less strict and less well-defined environments. Thus, a multi-agent approach has great potential for serving as a backbone in many industrial applications, ranging from complex knowledge retrieval systems to next generation robotic process automation. Given the reasoning abilities within the current generation of LLMs, complex processes require a multi-step approach that includes a plan of well-defined and modular tasks. Depending on the level of complexity, these tasks can be executed either by a single agent or a group of agents. In this work, we focus on designing a flexible agent engineering framework with careful attention to planning and execution, capable of handling complex use case applications across various domains. The proposed framework provides reliability in industrial applications and presents techniques to ensure a scalable, flexible, and collaborative workflow for multiple autonomous agents working together towards solving tasks.

연구 동기 및 목표

• 단일 에이전트 기반 LLM의 한계를 해결하기 위해 산업 자동화에서 협업 기반의 다중 에이전트 작업 실행을 가능하게 하기.
• 기존 IT 생태계(기존 시스템 포함)와의 통합이 가능한 유연하고 확장 가능한 프레임워크 설계.
• 구조적 계획 수립, 도구 사용, 오류 복구 메커니즘을 통해 AI 기반 워크플로우의 신뢰성과 확장성 향상.
• 향상된 학습과 상태 기반 작업 실행을 위해 인간 피드백 및 에피소딕 메모리 통합.
• 재시작 가능한 모듈식이고 감사 가능한 워크플로우를 지원함으로써 프로덕션 수준의 자동화 실현.

제안 방법

• 프레임워크는 전담 에이전트(예: 기획자, 프로그래머, 테스터, 비평자)로 구성된 모듈식 에이전트 유닛을 사용하며, 각각의 역할과 도구를 할당한다.
• 동적 작업 할당을 위해 의미적 매칭과 언급 기반 메시지 라우팅을 조합한 하이브리드 에이전트 선택 전략을 사용한다.
• 대화 기반 계획-이해-행동(ConvPlanReAct) 프롬프팅 전략을 통해 에이전트 간의 구조적이고 다단계 대화를 가능하게 한다.
• 함수 호출의 정확성과 신뢰성을 확보하기 위해 암시적 입력/출력 스키마를 단계별로 정교화하여 도구를 활용한다.
• 에피소딕 메모리는 과거 작업 결과를 저장하고 검색함으로써 맥락 인식 기반 추론과 계획 간 재사용을 가능하게 한다.
• 의도적 및 우연적 인간 피드백을 지원하며, 마지막 유효 상태에서 복원할 수 있는 메모리를 활용한 재시작 기능을 제공한다.

Figure 1: Generic agent workflow starting with user input and ending with providing workflow output. Agent Workflow highlights major components and levels of the workflow with (1) Planning, (2) Execution, and (3) Verification done by dedicated agents.

실험 결과

연구 질문

• RQ1 다중 에이전트 협업은 산업 현장에서 LLM 기반 작업 자동화의 신뢰성과 확장성에 어떻게 기여하는가?
• RQ2 AI 에이전트를 기존 엔터프라이즈 IT 생태계와 원활하게 통합하는 데 필요한 아키텍처 패턴은 무엇인가?
• RQ3 에피소딕 메모리와 구조적 프롬프팅은 에이전트의 추론 능력과 작업 지속성에 어떻게 기여하는가?
• RQ4 복잡한 다단계 워크플로우에서 신뢰성 있는 도구 사용과 오류 복구를 보장하기 위한 메커니즘은 무엇인가?
• RQ5 인간 피드백은 자율적 에이전트 워크플로우에 어떻게 효과적으로 통합되어 결과 품질을 향상시키는가?

주요 결과

• 에피소딕 메모리를 활용해 이전 유효 작업에서 복원 가능한 재시작 가능한 워크플로우를 지원함으로써 안정적이고 프로덕션 수준의 자동화를 달성한다.
• ConvPlanReAct 프롬프팅 전략은 ReAct를 다중 에이전트 대화로 확장하여 협업 능력과 작업 분해 능력을 향상시켰다.
• 동적 정교화와 스키마 기반 입력/출력 검증을 통해 도구 사용이 향상되어 신뢰성과 정확도가 증가했다.
• 에피소딕 메모리는 에이전트가 이전 작업 결과를 접근하고 재사용할 수 있도록 하여 계획 간 효율성과 일관성을 향상시켰다.
• 의도적 및 우연적 인간 피드백이 워크플로우에 효과적으로 통합되어 최종 출력 품질과 적응 능력이 향상되었다.
• 다양한 용도(예: 문서 편집, 소프트웨어 개발 포함)에서 모듈식이고 도메인에 종속되지 않는 워크플로우를 지원하여 광범위한 산업 적용 가능성을 입증했다.

Figure 2: Components contributing to initialization of an Agent. Dashed lines indicate optional components.