[논문 리뷰] LLM-Based Multi-Agent Systems for Software Engineering: Literature Review, Vision and the Road Ahead

Junda He, Christoph Treude외 1명|arXiv (Cornell University)|2024. 04. 07.

Multi-Agent Systems and Negotiation인용 수 8

한 줄 요약

이 비전 논문은 LLM 기반 다중 에이전트(LMA) 시스템이 전문 에이전트 간 협업을 활용하여 소프트웨어 공학의 도전을 어떻게 해결할 수 있는지 개략하고, 현재 발전 상황을 논의하며, 에이전트 능력, 프롬프트, 조정, 프라이버시를 중심으로 한 연구 의제를 제시한다.

ABSTRACT

Integrating Large Language Models (LLMs) into autonomous agents marks a significant shift in the research landscape by offering cognitive abilities that are competitive with human planning and reasoning. This paper explores the transformative potential of integrating Large Language Models into Multi-Agent (LMA) systems for addressing complex challenges in software engineering (SE). By leveraging the collaborative and specialized abilities of multiple agents, LMA systems enable autonomous problem-solving, improve robustness, and provide scalable solutions for managing the complexity of real-world software projects. In this paper, we conduct a systematic review of recent primary studies to map the current landscape of LMA applications across various stages of the software development lifecycle (SDLC). To illustrate current capabilities and limitations, we perform two case studies to demonstrate the effectiveness of state-of-the-art LMA frameworks. Additionally, we identify critical research gaps and propose a comprehensive research agenda focused on enhancing individual agent capabilities and optimizing agent synergy. Our work outlines a forward-looking vision for developing fully autonomous, scalable, and trustworthy LMA systems, laying the foundation for the evolution of Software Engineering 2.0.

연구 동기 및 목표

• 소프트웨어 엔지니어링에서 LLM 기반 자율 에이전트의 통합을 촉진하여 견고성, 자율성 및 확장성을 개선한다.
• LMA 시스템을 오케스트레이션 플랫폼과 LLM 구동 에이전트의 조합으로 정의하여 다중 도메인 SE 작업을 해결한다.
• 소프트웨어 개발, 프레임워크, 에이전트 협업에서의 현재 개발 상황을 식별한다.
• 도전 과제를 강조하고 향후 연구를 안내할 질문들로 구성된 연구 의제를 제시한다.

제안 방법

• 감지, 기억, 행동, 재고를 위한 명확한 역할을 가진 ⟨L,O,M,A,R⟩ 튜플로 LLM 기반 에이전트를 정의한다.
• 오케스트레이션 플랫폼과 에이전트 커뮤니케이션 패러다임(협력, 토론, 경쟁) 및 구조(분산식, 중앙집중식, 계층식, 중첩형)을 기술한다.
• 현재 SE 응용 및 프레임워크(역할 수행, ChatDev, MetaGPT, AutoGen, LangChain, OpenAgents 등)를 조사하여 실용적 구현 사례를 설명한다.
• 두 단계의 연구 의제를 제안한다: 1단계는 역할 설계와 프롬프트 전략을 통해 개별 에이전트의 능력을 향상시키고; 2단계는 에이전트 시너지, 인간-루프 협업, 확장성, 프라이버시 및 거버넌스를 최적화한다.

실험 결과

연구 질문

• RQ1 LLM 기반 에이전트에 적합한 SE 역할은 무엇이며 이러한 역할에 대한 능력을 어떻게 향상시킬 수 있는가?
• RQ2 프롬프트 언어와 에이전트 지향 프로그래밍이 SE에서 LLM 기반 에이전트의 역량을 어떻게 개선할 수 있는가?
• RQ3 생산성 및 품질을 극대화하기 위해 인간과 LLM 기반 에이전트 간의 작업 분배는 어떻게 해야 하는가?
• RQ4 대형이고 복잡한 소프트웨어 프로젝트를 처리하기 위해 LMA 시스템은 어떻게 확장될 수 있는가?
• RQ5 데이터 프라이버시를 보장하고 조직 간 안전한 협업을 보장하기 위해 어떤 메커니즘이 필요한가?

주요 결과

• 에이전트 간 상호 검증과 토론을 통해 LMA 시스템은 강건성을 제공할 수 있다.
• LLM은 애자일형 워크플로와 일치하는 자율적 문제 해결 및 작업 분해를 가능하게 한다.
• 현재 SE 응용은 작은 프로젝트에서 빠른 개발 주기와 비용 효율적인 결과를 보여준다.
• 개인정보 보호 및 동적 적응을 포함하는 에이전트 능력과 조정을 발전시키기 위한 단계적 연구 의제가 제시된다.