[论文解读] Advancing Requirements Engineering through Generative AI: Assessing the Role of LLMs

Chetan Arora, John Grundy+1 more|arXiv (Cornell University)|Oct 21, 2023

Software Engineering Techniques and Practices被引用 9

一句话总结

该论文探讨大型语言模型如何通过实现需求获取、规格、分析和验证来改变需求工程（RE），并提供 SWOT 框架和在真实世界应用场景中的初步评估。

ABSTRACT

Requirements Engineering (RE) is a critical phase in software development including the elicitation, analysis, specification, and validation of software requirements. Despite the importance of RE, it remains a challenging process due to the complexities of communication, uncertainty in the early stages and inadequate automation support. In recent years, large-language models (LLMs) have shown significant promise in diverse domains, including natural language processing, code generation, and program understanding. This chapter explores the potential of LLMs in driving RE processes, aiming to improve the efficiency and accuracy of requirements-related tasks. We propose key directions and SWOT analysis for research and development in using LLMs for RE, focusing on the potential for requirements elicitation, analysis, specification, and validation. We further present the results from a preliminary evaluation, in this context.

研究动机与目标

• 识别 LLM 如何应对需求获取、分析、规格和验证中的关键 RE 挑战。
• 提出一个 SWOT 框架，用以在所有 RE 阶段评估基于 LLM 的需求工程。
• 使用基于 LLM 的代理和提示策略展示潜在的 RE 工作流。
• 通过真实世界的 ActApp 案例研究展示初步可行性。

提出的方法

• 将 RE 流程调整为以 LLM 驱动的工作流，结合提示和提示工程。
• 为每个 RE 阶段开发 SWOT 分析，以捕捉优势、劣势、机会和威胁。
• 提供用于获取、规格、分析和验证的示例提示和基于代理的交互场景。
• 描述在真实世界应用场景中使用初步评估，以促进对基于 LLM 的需求工程的采用。

实验结果

研究问题

• RQ1 LLMs 如何在 RE 工作流中支持需求获取、分析、规格和验证？
• RQ2 在将 LLM 应用于每个 RE 阶段时，会出现哪些优势、劣势、机会和威胁？
• RQ3 对于 RE 任务，哪些提示设计和提示工程实践是有效的？
• RQ4 在引入 LLM 的现实 RE 环境中，初步评估应是什么样？

主要发现

• LLMs 可以在获取阶段支持领域理解、降低陌生感，以及多语言的利益相关者沟通。
• 在规格阶段，LLMs 能自动化格式化、分类和相互核对需求，同时强调合规对齐风险。
• 在分析阶段，LLMs 能自动化质量评估、风险识别、冲突协商和变更影响分析。
• 在验证阶段，LLMs 能模拟利益相关者视角并制定验收标准和测试场景。
• 该研究在真实世界应用中给出初步评估，展示了可行性并促使对 RE 任务的进一步探索。