[논문 리뷰] MARE: Multi-Agents Collaboration Framework for Requirements Engineering

Dongming Jin, Zhi Jin외 2명|arXiv (Cornell University)|2024. 05. 06.

Service-Oriented Architecture and Web Services인용 수 4

한 줄 요약

MARE는 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 종단 간 요구사항 엔지니어링을 자동화하는 다중 에이전트 협업 프레임워크이다. MARE는 공유 워크스페이스를 통해 상호작용하는 다섯 명의 전문화된 에이전트—스테이크홀더, 수집가, 모델러, 체크어, 문서화자—를 조율하여 요구사항 도출, 모델링, 검증, 명세화를 반복적으로 수행하며, 요구사항 모델링 작업에서 최신 기술(SOTA) 기준 대비 F1 점수 15.4% 향상 달성.

ABSTRACT

Requirements Engineering (RE) is a critical phase in the software development process that generates requirements specifications from stakeholders' needs. Recently, deep learning techniques have been successful in several RE tasks. However, obtaining high-quality requirements specifications requires collaboration across multiple tasks and roles. In this paper, we propose an innovative framework called MARE, which leverages collaboration among large language models (LLMs) throughout the entire RE process. MARE divides the RE process into four tasks: elicitation, modeling, verification, and specification. Each task is conducted by engaging one or two specific agents and each agent can conduct several actions. MARE has five agents and nine actions. To facilitate collaboration between agents, MARE has designed a workspace for agents to upload their generated intermediate requirements artifacts and obtain the information they need. We conduct experiments on five public cases, one dataset, and four new cases created by this work. We compared MARE with three baselines using three widely used metrics for the generated requirements models. Experimental results show that MARE can generate more correct requirements models and outperform the state-of-the-art approaches by 15.4%. For the generated requirements specifications, we conduct a human evaluation in three aspects and provide insights about the quality

연구 동기 및 목표

• 요구사항 엔지니어링(RE) 분야에서 산산이 흩어진 자동화 문제를 해결하기 위해 다수의 RE 작업을 하나의 협업 프레임워크로 통합한다.
• 요구사항 엔지니어링 분야에서 단일 작업에 국한된 LLM 응용의 한계를 극복하기 위해 전문화된 에이전트 간의 상호작용을 가능하게 한다.
• 구조화된 다중 에이전트 워크플로우를 통해 생성된 요구사항 모델 및 명세의 품질과 일관성을 향상시킨다.
• 협업 기반의 LLM 에이전트가 개별 LLM보다 요구사항 모델링 및 명세 생성에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• MARE는 RE 과정을 도출, 모델링, 검증, 명세화의 네 가지 핵심 작업으로 분해하며, 각 작업은 전담 에이전트가 담당한다.
• 스테이크홀더, 수집가, 모델러, 체크어, 문서화자로 구성된 다섯 명의 전문화된 에이전트가 각각의 역할과 행동을 맡아 작업을 수행한다.
• 공유 워크스페이스를 통해 에이전트들이 중간 결과물을 업로드하고 필요한 정보에 접근할 수 있어, 조율과 반복 작업이 가능해진다.
• 각 에이전트는 작업에 특화된 프롬프트와 지식 소스를 활용한 LLMs(예: gpt-3.5-turbo)를 사용한다: 모델링에는 메타모델, 검증에는 수락 기준, 명세화에는 템플릿을 활용한다.
• 반복적 개선 기법을 적용하여 한 에이전트의 출력 결과가 다음 에이전트의 입력으로 들어가며, 단계 간 일관성과 완전성을 확보한다.
• 평가에서는 모델링 작업에 대해 표준 지표(P, R, F1)를 사용하고, 명세화의 정확성, 완전성, 일관성에 대해 인간 평가를 실시한다.

실험 결과

연구 질문

• RQ1 RQ1: MARE는 다양한 소프트웨어 시스템에서 최신 기술(SOTA) 기준 대비 높은 품질의 요구사항 모델을 효과적으로 생성할 수 있는가?
• RQ2 RQ2: 인간 평가자들이 평가했을 때 MARE는 완전하고 정확하며 일관성 있는 요구사항 명세를 얼마나 잘 생성하는가?
• RQ3 RQ3: MARE의 다중 에이전트 협업 프레임워크는 요구사항 모델링 작업에서 개별 LLM보다 뛰어난 성능을 보이는가?

주요 결과

• MARE는 세 가지 최신 기술(SOTA) 기준 대비 요구사항 모델링에서 뛰어난 성능을 보이며, gpt-3.5-turbo를 사용할 경우 평균 F1 점수 15.4% 향상 달성.
• 다섯 개의 공개 사례에서 MARE는 사용자 케이스 다이어그램에 대해 SOTA 대비 평균 F1 점수 23.9% 향상, 문제 다이어그램에 대해 15.4%, 목표 모델에 대해 0.6% 향상.
• 인간 평가 결과 MARE는 평균 완전성 점수 0.98, 정확성 점수 1.92, 일관성 점수 1.98를 기록하여 뛰어난 명세 품질을 입증.
• 완전성 점수가 정확성 및 일관성 점수보다 약간 낮은 것은 평가자가 일부 섹션을 부족하게 인식하고, LLM이 긴 출력을 잘라내기 때문으로 추정됨.
• 제거 실험 결과 MARE의 협업 기반 프레임워크가 개별 LLM보다 뛰어나며, 평균 F1 점수 1.1% 향상, 재현율 2% 향상, 정밀도 0.2% 향상.
• 결과적으로 다중 에이전트 협업이 고립된 LLM 사용 대비 모델링 정확도와 명세 품질 향상에 크게 기여함을 입증함.