[論文レビュー] Automated User Story Generation with Test Case Specification Using Large Language Model

Tajmilur Rahman, Yuecai Zhu|arXiv (Cornell University)|Apr 2, 2024

Persona Design and Applications被引用数 6

ひとこと要約

本論文は GeneUS を提示する。これは GPT-4 と Refine and Thought (RaT) prompting を用いて requirements documents から自動的に user stories と test cases を生成し、下流の統合のために JSON を出力するツールである。さらに practitioner を対象とした RUST 調査によって品質を検証する。

ABSTRACT

Modern Software Engineering era is moving fast with the assistance of artificial intelligence (AI), especially Large Language Models (LLM). Researchers have already started automating many parts of the software development workflow. Requirements Engineering (RE) is a crucial phase that begins the software development cycle through multiple discussions on a proposed scope of work documented in different forms. RE phase ends with a list of user-stories for each unit task identified through discussions and usually these are created and tracked on a project management tool such as Jira, AzurDev etc. In this research we developed a tool "GeneUS" using GPT-4.0 to automatically create user stories from requirements document which is the outcome of the RE phase. The output is provided in JSON format leaving the possibilities open for downstream integration to the popular project management tools. Analyzing requirements documents takes significant effort and multiple meetings with stakeholders. We believe, automating this process will certainly reduce additional load off the software engineers, and increase the productivity since they will be able to utilize their time on other prioritized tasks.

研究の動機と目的

• Requirements を Agile 環境で実行可能な user stories と test cases に変換する労力を削減する。
• RE フェーズの出力を自動化し、プロジェクト管理ツールとの下流統合を支援する。
• 長く複雑な要件テキストに対する LLM の性能向上を目的とした prompting 技法（RaT）の開発と検証。
• 自動生成された user stories の実用性と受容をソフトウェアエンジニアリング専門家の間で実証する。

提案手法

• requirements documents からの機能要件と非機能要件を抽出するためのプロンプト設計。
• Refine and Thought (RaT) prompting、意味のあるトークンの無駄を減らし一貫性を高めるチェーン・オブ・思考の変種としての二段階の refinement and thought プロセス。
• 抽出された要件から user stories、deliverables、test cases を生成する三段階の RaT prompting チェーン。
• GeneUS ワークフローをテストする自動 REST API。
• RUST 質問票を用いた seven RE documents と 50-person の開発者調査による評価。
• Jira、Azure DevOps、その他ツールとの統合を促進するための JSON 形式での出力。

実験結果

リサーチクエスチョン

• RQ1 RQ1: Can RaT prompting improve LLM-generated user stories and test specifications from requirements documents?
• RQ2 RQ2: Are the automatically generated user stories and test cases acceptable to software engineering professionals across diverse backgrounds?

主な発見

• RaT prompting は一貫性を向上させ、RaT 以外の prompting と比べて幻覚を減少させる。
• GeneUS は 'Done'、機能/非機能制約、テスト仕様を含む詳細な user stories を JSON 形式で出力する。
• 50 名の開発者を対象とした調査では、生成されたストーリーは全体的に Good (4/5) と評価され、Specifiability と Technical Aspects に改善の余地がある。
• 七つの RE documents でのプロセスは SE 専門家の高い受容を示し、RUST の中央値スコアは約 4。
• 生成出力には技術的な詳細の欠落が 5%、曖昧なタスク記述が 1%、重複が 0.5% あったと報告されている。