[論文レビュー] Advancing Requirements Engineering through Generative AI: Assessing the Role of LLMs

Chetan Arora, John Grundy+1 more|arXiv (Cornell University)|Oct 21, 2023

Software Engineering Techniques and Practices被引用数 9

ひとこと要約

本論文は、巨大言語モデルが要件工学（RE）をどのように変革し、要件の引出し、仕様化、分析、検証を可能にするかを探究し、SWOTフレームワークと実世界のアプリ文脈での予備的評価を提供します。

ABSTRACT

Requirements Engineering (RE) is a critical phase in software development including the elicitation, analysis, specification, and validation of software requirements. Despite the importance of RE, it remains a challenging process due to the complexities of communication, uncertainty in the early stages and inadequate automation support. In recent years, large-language models (LLMs) have shown significant promise in diverse domains, including natural language processing, code generation, and program understanding. This chapter explores the potential of LLMs in driving RE processes, aiming to improve the efficiency and accuracy of requirements-related tasks. We propose key directions and SWOT analysis for research and development in using LLMs for RE, focusing on the potential for requirements elicitation, analysis, specification, and validation. We further present the results from a preliminary evaluation, in this context.

研究の動機と目的

• LLMs が要件引出し、分析、仕様化、検証の各過程における主要な RE の課題にどのように対応できるかを特定する。
• すべての RE 段階を通じて LLM 活用の RE を評価する SWOT フレームワークを提案する。
• LLM ベースのエージェントとプロンプティング戦略を用いた潜在的な RE ワークフローを示す。
• 実世界の ActApp ケーススタディを通じて予備的な実現可能性を示す。

提案手法

• RE プロセスをプロンプト設計を含む LLM 主導のワークフローへ適応させる。
• 各 RE 段階に対して強み・弱み・機会・脅威を捉える SWOT 分析を作成する。
• 引出し、仕様化、分析、検証の各段階に対する例示的なプロンプトとエージェントベースの相互作用シナリオを提供する。
• LLM ベースの RE 導入を動機づける実世界アプリ文脈を用いた予備評価を記述する。

実験結果

リサーチクエスチョン

• RQ1 LLMs は RE ワークフローにおける要件の引出し、分析、仕様化、検証をどのように支援できるか？
• RQ2 各 RE 段階へ LLMs を適用することから生じる強み、弱み、機会、脅威は何か？
• RQ3 RE タスクにおける効果的なプロンプティングおよびプロンプトエンジニアリングの実践は何か？
• RQ4 LLMs を用いた現実的な RE 設定における予備評価はどのようなものになるか？

主な発見

• 要件引出しの過程で、LLMs はドメイン理解の支援、未知性の低減、マルチリンガルな利害関係者間のコミュニケーションを支援できる。
• 仕様化の過程で、LLMs は要件のフォーマット設定、分類、相互照合を自動化し、規制適合のリスクを強調する。
• 分析の過程で、LLMs は品質評価、リスク特定、対立解消交渉、変更影響分析を自動化できる。
• 検証の過程で、LLMs は利害関係者の視点を模擬し、受け入れ基準とテストシナリオを作成できる。
• 本研究は実世界アプリでの予備評価を提示し、実現可能性を示すとともに RE タスクのさらなる検討を促している。