[논문 리뷰] Towards Effective GenAI Multi-Agent Collaboration: Design and Evaluation for Enterprise Applications

Raphael Shu, Nilaksh Das외 3명|arXiv (Cornell University)|2024. 12. 06.

Collaboration in agile enterprisesBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 기업 응용 분야를 위한 LLM 기반 에이전트를 활용한 계층적 다중 에이전트 협업 프레임워크를 제안하며, 구조적 작업 위임과 최적화된 통신을 통해 조율된 문제 해결을 가능하게 한다. 소프트웨어 개발 및 모기지 처리와 같은 복잡한 도메인에서 90%의 목표 성공률를 달성하였으며, 페이로드 참조 기능으로 코드 작업 성능이 23% 향상되고 통신 오버헤드는 27% 감소하였다.

ABSTRACT

AI agents powered by large language models (LLMs) have shown strong capabilities in problem solving. Through combining many intelligent agents, multi-agent collaboration has emerged as a promising approach to tackle complex, multi-faceted problems that exceed the capabilities of single AI agents. However, designing the collaboration protocols and evaluating the effectiveness of these systems remains a significant challenge, especially for enterprise applications. This report addresses these challenges by presenting a comprehensive evaluation of coordination and routing capabilities in a novel multi-agent collaboration framework. We evaluate two key operational modes: (1) a coordination mode enabling complex task completion through parallel communication and payload referencing, and (2) a routing mode for efficient message forwarding between agents. We benchmark on a set of handcrafted scenarios from three enterprise domains, which are publicly released with the report. For coordination capabilities, we demonstrate the effectiveness of inter-agent communication and payload referencing mechanisms, achieving end-to-end goal success rates of 90%. Our analysis yields several key findings: multi-agent collaboration enhances goal success rates by up to 70% compared to single-agent approaches in our benchmarks; payload referencing improves performance on code-intensive tasks by 23%; latency can be substantially reduced with a routing mechanism that selectively bypasses agent orchestration. These findings offer valuable guidance for enterprise deployments of multi-agent systems and advance the development of scalable, efficient multi-agent collaboration frameworks.

연구 동기 및 목표

• 기업 환경에서 다중 에이전트 시스템의 효과적인 협업 프로토콜 설계 과제를 해결한다.
• 단일 에이전트가 다룰 수 없는 복잡하고 다면적인 문제에서 목표 성공률를 향상시킨다.
• 효율성, 확장성, 실세계 적용 가능성 측면에서 조율 및 라우팅 메커니즘을 평가한다.
• 다양한 기업 도메인에 적합한 수작업으로 구성된 시나리오 기반 벤치마킹 프레임워크를 개발한다.
• 특히 코드 중심 워크로드에서의 지연 시간과 오버헤드를 줄이기 위해 에이전트 간 통신을 최적화한다.

제안 방법

• 중앙 감시자 에이전트가 작업 계획 수립, 위임 및 조율를 담당하는 계층적 에이전트 아키텍처를 제안한다.
• 코드 스니펫과 같은 큰 콘텐츠 블록을 공유하기 위해 에이전트 간 병렬 통신과 페이로드 참조를 가능하게 하는 조율 모드를 도입한다.
• 불필요한 에이전트 이동을 방지하기 위해 오케스트레이션을 선택적으로 건너뛰는 라우팅 모드를 도입한다.
• 목표 성공률와 일관성을 평가하기 위해 자동화된 LLM 기반 평가를 활용한 주장 기반 벤치마킹을 사용한다.
• 세 가지 기업 도메인(여행, 모기지, 소프트웨어 개발)에서 감시자 및 전문가 에이전트 모두에 Claude 3.5 Sonnet (20241022) 모델을 사용한다.
• 재현 가능성과 향후 연구를 가능하게 하기 위해 수작업으로 구성된 공개 벤치마킹 데이터셋을 배포한다.

Figure 1: Illustration of the hierarchical agents approach for multi-agent collaboration. In a centralized hierarchy, a supervisor agent oversees and assigns tasks to specialist agents. The figure demonstrates a multi-layer hierarchy, where an agent can function as both a specialist agent and a supe

실험 결과

연구 질문

• RQ1 계층적 다중 에이전트 협업 프레임워크는 어떻게 전문화된 에이전트를 효과적으로 조율하여 복잡한 기업 문제를 해결할 수 있는가?
• RQ2 특히 코드 중심 작업에서 통신 메커니즘—특히 페이로드 참조—는 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 다양한 기업 도메인에서 다중 에이전트 협업은 단일 에이전트 접근 방식에 비해 목표 성공률 측면에서 어떻게 비교되는가?
• RQ4 에이전트 오케스트레이션을 선택적으로 건너뛰는 라우팅 최적화는 신뢰성 손실 없이 다중 에이전트 조율의 지연 시간을 얼마나 줄일 수 있는가?
• RQ5 자동화된 LLM 기반 평가 프레임워크는 인간 평가에 비해 목표 성공률 측정에 얼마나 효과적인가?

주요 결과

• 벤치마크 시나리오에서 다중 에이전트 협업은 단일 에이전트 접근 방식 대비 목표 성공률를 최대 70% 향상시켰다.
• 페이로드 참조 메커니즘이 코드 중심 작업에서 목표 성공률를 23% 향상시키고, 턴당 평균 통신 오버헤드를 27% 감소시켰다.
• Cla우드 3.5 Sonnet 모델을 사용할 경우 모든 평가된 기업 도메인에서 전체 목표 성공률가 90%에 도달하였다.
• 에이전트 오케스트레이션을 선택적으로 건너뛰는 라우팅 메커니즘이 특히 복잡한 워크플로우에서 지연 시간을 크게 감소시켰다.
• 자동화된 LLM 기반 평가 프레임워크는 인간 평가자와의 일치도가 높았으며(인간 평가로 검증됨), 확장성과 신뢰성 있는 벤치마킹을 가능하게 하였다.
• 단일 에이전트 접근 방식이 목표 성공률에서 최대 37% 감소하는 등, 이 프레임워크는 소프트웨어 개발 도메인에서 뛰어난 성능을 보였다.

Figure 2: Example of parallel agent communication. In this example, the supervisor agent simultaneously communicates with multiple agents as the tasks can be completed independently.