[论文解读] MARE: Multi-Agents Collaboration Framework for Requirements Engineering

Dongming Jin, Zhi Jin+2 more|arXiv (Cornell University)|May 6, 2024

Service-Oriented Architecture and Web Services被引用 4

一句话总结

MARE 是一种多智能体协作框架，利用大语言模型（LLMs）实现端到端的需求工程。它通过共享工作区协调五个专业智能体——利益相关者、收集者、建模者、检查者和文档生成者——迭代执行需求获取、建模、验证和规格说明，相较于最先进基线，在需求建模任务上实现了15.4%的F1分数提升。

ABSTRACT

Requirements Engineering (RE) is a critical phase in the software development process that generates requirements specifications from stakeholders' needs. Recently, deep learning techniques have been successful in several RE tasks. However, obtaining high-quality requirements specifications requires collaboration across multiple tasks and roles. In this paper, we propose an innovative framework called MARE, which leverages collaboration among large language models (LLMs) throughout the entire RE process. MARE divides the RE process into four tasks: elicitation, modeling, verification, and specification. Each task is conducted by engaging one or two specific agents and each agent can conduct several actions. MARE has five agents and nine actions. To facilitate collaboration between agents, MARE has designed a workspace for agents to upload their generated intermediate requirements artifacts and obtain the information they need. We conduct experiments on five public cases, one dataset, and four new cases created by this work. We compared MARE with three baselines using three widely used metrics for the generated requirements models. Experimental results show that MARE can generate more correct requirements models and outperform the state-of-the-art approaches by 15.4%. For the generated requirements specifications, we conduct a human evaluation in three aspects and provide insights about the quality

研究动机与目标

• 通过将多个需求工程（RE）任务统一到一个协同框架中，解决需求工程中自动化碎片化的问题。
• 通过实现专业智能体之间的跨任务协作，克服单任务LLM应用在需求工程中的局限性。
• 通过结构化的多智能体工作流，提升生成的需求模型和规格说明的质量与一致性。
• 证明协同LLM智能体在需求建模和规格说明生成方面优于独立LLM。

提出的方法

• MARE将需求工程过程分解为四个核心任务：获取、建模、验证和规格说明，每个任务由专门的智能体管理。
• 分配五个专业智能体（利益相关者、收集者、建模者、检查者、文档生成者）以执行其特定角色和操作。
• 共享工作区使智能体能够上传中间产物并访问必要信息，促进协调与迭代。
• 每个智能体使用大语言模型（如gpt-3.5-turbo），结合任务特定提示和知识源：建模使用元模型，验证使用验收标准，规格说明使用模板。
• 该框架采用迭代优化机制，前一智能体的输出作为下一智能体的输入，确保各阶段的一致性与完整性。
• 评估采用标准指标（P、R、F1）衡量建模质量，以及人工评估的正确性、完整性和一致性来评估规格说明质量。

实验结果

研究问题

• RQ1 RQ1：与最先进基线相比，MARE在多样化软件系统中是否能有效生成高质量的需求模型？
• RQ2 RQ2：根据人工评估，MARE在生成完整、正确且一致的需求规格说明方面表现如何？
• RQ3 RQ3：MARE中的多智能体协作框架是否在需求建模任务中优于单个LLM？

主要发现

• MARE在需求建模方面优于三种最先进基线，在使用gpt-3.5-turbo时，平均F1分数高出15.4%。
• 在五个公开案例中，MARE相较于最先进模型，使用例图的平均F1提升23.9%，问题图提升15.4%，目标模型提升0.6%。
• 人工评估显示，MARE在完整性和一致性方面平均得分分别为0.98和1.98，在正确性方面得分为1.92，表明其规格说明质量优异。
• 完整性的得分略低于正确性和一致性，原因在于评估者认为部分内容不充分，且LLM对长输出进行了截断。
• 消融研究证实，MARE的协作框架优于单个LLM，平均F1高出1.1%，召回率高出2%，精确率高出0.2%。
• 结果表明，与孤立使用LLM相比，多智能体协作显著提升了建模准确性和规格说明质量。