[论文解读] LLM-Based Multi-Agent Systems for Software Engineering: Literature Review, Vision and the Road Ahead

Junda He, Christoph Treude+1 more|arXiv (Cornell University)|Apr 7, 2024

Multi-Agent Systems and Negotiation被引用 8

一句话总结

本愿景论文概述了基于LLM的多代理（LMA）系统如何通过专业代理之间的协作来解决软件工程挑战，讨论当前发展，并提出一个研究议程，聚焦代理能力、提示、协调和隐私。

ABSTRACT

Integrating Large Language Models (LLMs) into autonomous agents marks a significant shift in the research landscape by offering cognitive abilities that are competitive with human planning and reasoning. This paper explores the transformative potential of integrating Large Language Models into Multi-Agent (LMA) systems for addressing complex challenges in software engineering (SE). By leveraging the collaborative and specialized abilities of multiple agents, LMA systems enable autonomous problem-solving, improve robustness, and provide scalable solutions for managing the complexity of real-world software projects. In this paper, we conduct a systematic review of recent primary studies to map the current landscape of LMA applications across various stages of the software development lifecycle (SDLC). To illustrate current capabilities and limitations, we perform two case studies to demonstrate the effectiveness of state-of-the-art LMA frameworks. Additionally, we identify critical research gaps and propose a comprehensive research agenda focused on enhancing individual agent capabilities and optimizing agent synergy. Our work outlines a forward-looking vision for developing fully autonomous, scalable, and trustworthy LMA systems, laying the foundation for the evolution of Software Engineering 2.0.

研究动机与目标

• 推动将基于LLM的自治代理整合到软件工程中，以提升鲁棒性、自治性和扩展性。
• 将LMA系统定义为编排平台加上由LLM驱动的代理，以应对多领域的软件工程任务。
• 识别软件开发、框架和代理协作方面的当前发展。
• 突出挑战并提出一个带有问题导向的研究议程，以引导未来工作。

提出的方法

• 将基于LLM的代理定义为元组 ⟨L,O,M,A,R⟩，为感知、记忆、行动和再思考设定清晰的角色。
• 描述编排平台与代理通信范式（合作、辩论、竞争）以及结构（去中心化、集中式、分层、嵌套）。
• 调查当前的软件工程应用和框架（如角色扮演、ChatDev、MetaGPT、AutoGen、LangChain、OpenAgents）以说明实际实现。
• 提出一个两阶段的研究议程：阶段1通过角色设计和提示策略提升单个代理的能力；阶段2优化代理协同、人与环路协作、扩展性、隐私与治理。

实验结果

研究问题

• RQ1 哪些软件工程角色适合基于LLM的代理，以及如何提升它们在这些角色中的能力？
• RQ2 如何通过提示语言和面向代理的编程来提升基于LLM的代理在软件工程中的能力？
• RQ3 应该如何在人员与基于LLM的代理之间分配任务，以最大化生产力和质量？
• RQ4 如何将LMA系统扩展以应对大型和复杂的软件项目？
• RQ5 为确保跨组织的数据隐私和安全协作，需要哪些机制？

主要发现

• LMA系统可以通过代理之间的交叉审查和辩论提供鲁棒性。
• LLMs实现自主问题解决和任务分解，与敏捷风格的工作流保持一致。
• 当前的软件工程应用在小型项目中显示出快速开发周期和成本效率的结果。
• 提出了一个阶段性研究议程，以提升代理能力和协调性，包括隐私和动态适应。