[論文レビュー] How LLMs Aid in UML Modeling: An Exploratory Study with Novice Analysts

Beian Wang, Chong Wang+3 more|arXiv (Cornell University)|Apr 27, 2024

Business Process Modeling and Analysis被引用数 4

ひとこと要約

本研究では、大規模言語モデル（LLMs）が初心者のソフトウェア工学学生がUMLの使用ケース図、クラス図、シーケンス図を作成するのをどのように支援するかを調査している。45名の学部生を対象とした探索的実験を通じて、著者らはLLMsが有用なガイダンスを提供し、モデリングの効率を向上させることを確認したが、関係性の正確な捉え込みやフォーマット固有の制約への対応に限界を示しており、教育的・職業的文脈におけるプロンプトの改善と人的監視の重要性が浮き彫りになった。

ABSTRACT

Since the emergence of GPT-3, Large Language Models (LLMs) have caught the eyes of researchers, practitioners, and educators in the field of software engineering. However, there has been relatively little investigation regarding the performance of LLMs in assisting with requirements analysis and UML modeling. This paper explores how LLMs can assist novice analysts in creating three types of typical UML models: use case models, class diagrams, and sequence diagrams. For this purpose, we designed the modeling tasks of these three UML models for 45 undergraduate students who participated in a requirements modeling course, with the help of LLMs. By analyzing their project reports, we found that LLMs can assist undergraduate students as novice analysts in UML modeling tasks, but LLMs also have shortcomings and limitations that should be considered when using them.

研究の動機と目的

• LLMsが初心者のアナリストがUMLモデリングタスクを遂行する際の支援役割を検討すること。
• LLMsが正確で完全なUML図（特に使用ケース図、クラス図、シーケンス図）を生成する有効性を評価すること。
• 初心者の要件モデリング支援におけるLLMsの強みと限界を特定すること。
• LLMsを補助ツールとして活用するにあたり、コアなモデリング能力を代替しないようにソフトウェア工学教育に示唆を与えること。
• 主な失敗要因（例えば、関係性の誤認識やフォーマット関連の情報損失）を特定することで、今後のAI支援モデリングツールの開発を導くこと。

提案手法

• ソフトウェア要件モデリングコースを受講する45名の学部生を対象に、制御された実験を実施した。
• 学生たちは、自然言語プロンプトを用いてLLMの支援を受けて、3種類のUMLモデル（使用ケース図、クラス図、シーケンス図）を作成するタスクを実施した。
• 学生のレポート（最終的なUML図と人間-LLMインタラクションログを含む）を収集し、手動で分析した。
• 各基準ごとに二値スコアリング方式（正誤）を用いて、正確性と完全性を評価した。
• LLM出力形式の違い（例：テキスト対PlantUML）が、モデリング要素の認識と図の質に与える影響を評価した。
• 特に関係性のモデリングと構造的整合性の維持に問題を示す、繰り返し発生するエラーと限界を同定した。

Figure 1 : The process of the experiment

実験結果

リサーチクエスチョン

• RQ1 LLMsは、初心者のアナリストが正確で完全なUML使用ケース図を作成するのをどの程度支援できるか？
• RQ2 LLMsは、特にクラス属性、メソッド、関連性をモデリングする際、クラス図の作成をどの程度効果的に支援できるか？
• RQ3 LLMsは、メッセージの流れやライフラインをモデリングする際、シーケンス図の生成をどのように支援または妨げているか？
• RQ4 LLM出力形式の違い（例：自然言語対PlantUML）は、得られるUML図の質と正確性にどのような影響を与えるか？
• RQ5 LLMsのUMLモデリングにおける主な限界は何か？ これらの限界は、初心者ユーザーにとってのAI生成モデルの信頼性にどのように影響を与えるか？

主な発見

• LLMsは初心者のアナリストがUML図を生成するのを顕著に支援し、有用な提案を提供し、モデリングプロセスを加速させた。
• LLMsはアクター、クラス、メッセージといった基本的な構造的要素の生成において優れたパフォーマンスを示したが、関連性や依存関係のような複雑な関係性の捉え込みに苦慮した。
• PlantUMLのような構造化された出力形式を用いることで、自由なテキスト出力に比べてモデル要素の正確性が向上し、フォーマットや文法的エラーが減少した。
• 顕著な限界として、LLMが関係関連の要素を省略または誤って表現する傾向があり、不完全または意味的に誤った図が生成された。
• 特にシーケンス図およびクラス図において、LLMが出力したテキスト記述を図形式に変換する際、情報損失が発生した。
• 学生は頻繁にLLMが出力した図を手動で修正または再作成する必要があり、LLMsは自律的なモデリングツールではなく、支援ツールとしての役割が最適であることが示された。

Figure 2 : Distribution of the participants with/without experience of using LLMs