[論文レビュー] Model Generation with LLMs: From Requirements to UML Sequence Diagrams

Alessio Ferrari, Sallam Abualhaija+1 more|arXiv (Cornell University)|Apr 9, 2024

Business Process Modeling and AnalysisBusiness, Management and Accounting被引用数 3

ひとこと要約

本研究は、自然言語要件からUML順序図を生成するChatGPTの能力を調査し、理解可能性および標準準拠性において優れたパフォーマンスを示す一方で、完全性および正しさに顕著な問題を抱えていることが判明した。特に曖昧または一貫性のない要件では顕著である。主な貢献は、23の問題カテゴリと反復的でドメインに配慮したプロンプト戦略を組み合わせた構造化フレームワークを提示し、要件工学ワークフローにおける信頼性の向上を図るものである。

ABSTRACT

Complementing natural language (NL) requirements with graphical models can improve stakeholders' communication and provide directions for system design. However, creating models from requirements involves manual effort. The advent of generative large language models (LLMs), ChatGPT being a notable example, offers promising avenues for automated assistance in model generation. This paper investigates the capability of ChatGPT to generate a specific type of model, i.e., UML sequence diagrams, from NL requirements. We conduct a qualitative study in which we examine the sequence diagrams generated by ChatGPT for 28 requirements documents of various types and from different domains. Observations from the analysis of the generated diagrams have systematically been captured through evaluation logs, and categorized through thematic analysis. Our results indicate that, although the models generally conform to the standard and exhibit a reasonable level of understandability, their completeness and correctness with respect to the specified requirements often present challenges. This issue is particularly pronounced in the presence of requirements smells, such as ambiguity and inconsistency. The insights derived from this study can influence the practical utilization of LLMs in the RE process, and open the door to novel RE-specific prompting strategies targeting effective model generation.

研究の動機と目的

• 自然言語要件からUML順序図を生成するChatGPTの信頼性を評価すること。
• 特に完全性および正しさに関連する、LLM生成モデルにおける一般的な品質問題を同定すること。
• 要件の品質（たとえば曖昧さや一貫性の欠如）がモデル生成結果に与える影響を調査すること。
• 要件工学におけるLLMベースのモデル生成の今後の改善を支援するための、問題の構造化フレームワークを開発すること。
• ドメイン知識を統合し、人間が関与するフィードバックを組み込んだ実用的なプロンプト戦略を提案し、モデルの忠実度を向上させること。

提案手法

• 異なるフォーマット（例：'shall'文、ユーザーストーリー、ユースケース）を含む28件の多様な要件文書を用いた探索的定性的研究を実施した。
• 3名の経験豊富な研究者がChatGPTに要件をプロンプトし、対応するUML順序図を生成した。
• 各生成図の品質問題（完全性、正しさ、構造的整合性）に焦点を当て、評価ログを収集した。
• 評価ログをテーマ分析し、欠落要素や誤ったメッセージ順序などの23の繰り返し発生する問題をカテゴリ化した。
• 独立した評価とCohenのカッパ係数を用いた三角測定法により、評価判断の信頼性を確保した。
• 文脈的およびドメイン固有の知識の影響を検証するため、要件のバリエーションを導入し、曖昧または進化する入力に対するモデルの反応を評価した。

実験結果

リサーチクエスチョン

• RQ1 自然言語要件をプロンプトとして提示した場合、ChatGPTはどの程度意味的に正しいかつ完全なUML順序図を生成できるか？
• RQ2 曖昧さや一貫性の欠如といった要件の欠陥（スモール）は、LLM生成順序図の品質にどのように影響するか？
• RQ3 生成図における最も一般的な誤りや欠落は何か？それらは入力の品質やドメインの複雑さとどのように関連しているか？
• RQ4 反復的でドメインに配慮したプロンプト戦略は、要件工学におけるLLM生成モデルの正しさと完全性をどのように向上させ得るか？
• RQ5 文脈的および暗黙のドメイン知識は、LLMベースのモデル生成の信頼性にどのような役割を果たすか？そして、効果的に統合するにはどうすればよいか？

主な発見

• ChatGPTが生成した順序図は、理解可能性が高く、入力要件との用語的一致性も保たれており、UML標準への準拠性が顕著に見られた。
• 標準準拠性は高いものの、特に複雑または曖昧な要件では、参加者やメッセージ、ライフラインの欠落といった完全性の欠如が頻発した。
• 正しさに関する問題が顕著に見られ、メッセージの順序が誤っている、相互作用フローが正しく表現されていない、指定された振るまいから構造的に逸脱しているなどの事例が多発した。
• 曖昧さや技術的ドメイン知識が不足する要件では、幻覚や誤った解釈が観察された。
• 要件スモール（曖昧さ、一貫性の欠如など）が存在する場合、モデルの誤りの発生確率が顕著に上昇し、LLMが入力品質に極めて感受性であることが示された。
• テーマ分析により23の異なる問題カテゴリが同定され、最も頻度の高かったのは、要素の欠落、誤ったメッセージ順序、条件付きまたは並列動作のモデル化失敗であった。