[論文レビュー] Empirical Evaluation of ChatGPT on Requirements Information Retrieval Under Zero-Shot Setting

Jianzhang Zhang, Yiyang Chen+3 more|ArXiv.org|Apr 25, 2023

Software Engineering Research被引用数 5

ひとこと要約

本論文は、ゼロショット設定下での要件情報抽出（IR）タスクにおけるChatGPTの性能を評価している。具体的には、機能要件と非機能要件（NFR）の分類、ドメイン用語の抽出を含む。2種類のアーティファクト（アプリレビューとアプリ説明）を対象とした4つのベンチマークデータセットを用いた結果、再現率は高いが正確率は低いことが判明。これは、関連性の検出は優れているが、抽出の特異性に限界があることを示している。

ABSTRACT

Recently, various illustrative examples have shown the impressive ability of generative large language models (LLMs) to perform NLP related tasks. ChatGPT undoubtedly is the most representative model. We empirically evaluate ChatGPT's performance on requirements information retrieval (IR) tasks to derive insights into designing or developing more effective requirements retrieval methods or tools based on generative LLMs. We design an evaluation framework considering four different combinations of two popular IR tasks and two common artifact types. Under zero-shot setting, evaluation results reveal ChatGPT's promising ability to retrieve requirements relevant information (high recall) and limited ability to retrieve more specific requirements information (low precision). Our evaluation of ChatGPT on requirements IR under zero-shot setting provides preliminary evidence for designing or developing more effective requirements IR methods or tools based on LLMs.

研究の動機と目的

• ファインチューニングを行わず、ゼロショット設定下でChatGPTが要件関連情報の抽出にどの程度効果的に機能するかを評価すること。
• 自然言語プロンプトのみを用いて、生成型LLM（例：ChatGPT）が複数の要件IRタスクをどの程度効果的に実行できるかを調査すること。
• 要件工学（RE）におけるより効果的なLLMベースのツールの設計に、実証的根拠を提供すること。
• アプリレビューと説明文などのドメイン固有の要件アーティファクトを処理する際の、現在のLLMの強みと限界を特定すること。
• 今後の研究を支援するため、プロンプト工学、ドメイン特化型LLMの適応、NLP4REのベンチマーク開発に関する指針を提示すること。

提案手法

• 本研究は、4つの公開済みの要件IRベンチマークデータセットを用いたゼロショット評価フレームワークを採用している。
• 4つのIRタスクを評価している：機能要件分類、非機能要件（NFR）分類、およびアプリレビューとアプリ説明からのドメイン用語抽出。
• 各タスクは、ChatGPTからの特定の応答を引き出すように設計された標準化されたプロンプトを用いて評価され、実際のユーザークエリを模倣している。
• 評価指標には、検索性能を定量的に評価するための正確率、再現率、F1スコアが含まれる。
• 誤検出や推論パターンの性質を検証するため、定性的分析も実施している。
• 評価は、ユーザー生成のアプリレビューと公式のアプリ説明という2種類のアーティファクトを対象としている。

Figure 1: The Framework for Evaluating ChatGPT on Requirements IR Tasks

実験結果

リサーチクエスチョン

• RQ1 ゼロショット設定下で、ChatGPTはアプリレビューおよびアプリ説明からの機能要件の抽出にどの程度効果的か？
• RQ2 同じアーティファクトタイプにおいて、ChatGPTは非機能要件（NFR）の同定にどの程度の性能を示すか？
• RQ3 ファインチューニングなしで、ChatGPTは要件関連テキストからのドメイン固有用語抽出にどの程度効果的か？
• RQ4 さまざまなIRタスクにおいて、ChatGPTの正確率と再現率の観点から、その強みと限界は何か？
• RQ5 得られた結果は、要件工学における将来のLLMベースのツール設計に、どのようにインサイトを提供するか？

主な発見

• ChatGPTは、すべてのタスクにおいて高い再現率を示しており、関連する要件情報の抽出能力が優れていることがうかがえる。
• しかし、正確率は低く、特に機能要件分類とNFR分類において顕著で、関連のないまたは誤った結果が多数出力されていることが示された。
• 分類タスクに比べて、ドメイン用語抽出タスクではより高い性能を示したが、依然として顕著な誤差率を示していた。
• 定性的分析から、ChatGPTはしばしば妥当に見えるが誤った分類を生成しており、特に機能要件と非機能要件の区別を誤る傾向があることが明らかになった。
• アプリレビューにおける文脈固有のニュアンスを捉えるのが難しく、ユーザーの意見を要件として誤って分類する傾向がある。
• 限界は存在するが、結果からChatGPTは要件工学におけるエンドツーエンドのチャットベース要件抽出ツール開発の基盤として有望であることが示唆された。