[논문 리뷰] Model Generation with LLMs: From Requirements to UML Sequence Diagrams

Alessio Ferrari, Sallam Abualhaija외 1명|arXiv (Cornell University)|2024. 04. 09.

Business Process Modeling and AnalysisBusiness, Management and Accounting인용 수 3

한 줄 요약

이 연구는 자연어 요구사항에서 ChatGPT가 UML 순서 다이어그램을 생성하는 능력을 조사하며, 이해 가능성과 표준 준수에서는 뛰어난 성능를 보였지만, 완전성과 정확성 측면에선 심각한 문제를 보였으며, 특히 모호하거나 일관성 없는 요구사항에서 두드러졌다. 주요 기여는 23개의 문제 유형 분류 체계와 반복적이고 도메인 인식형 프롬프팅 전략을 통해 요구사항 공학 워크플로우에서의 신뢰성을 향상시키는 것이다.

ABSTRACT

Complementing natural language (NL) requirements with graphical models can improve stakeholders' communication and provide directions for system design. However, creating models from requirements involves manual effort. The advent of generative large language models (LLMs), ChatGPT being a notable example, offers promising avenues for automated assistance in model generation. This paper investigates the capability of ChatGPT to generate a specific type of model, i.e., UML sequence diagrams, from NL requirements. We conduct a qualitative study in which we examine the sequence diagrams generated by ChatGPT for 28 requirements documents of various types and from different domains. Observations from the analysis of the generated diagrams have systematically been captured through evaluation logs, and categorized through thematic analysis. Our results indicate that, although the models generally conform to the standard and exhibit a reasonable level of understandability, their completeness and correctness with respect to the specified requirements often present challenges. This issue is particularly pronounced in the presence of requirements smells, such as ambiguity and inconsistency. The insights derived from this study can influence the practical utilization of LLMs in the RE process, and open the door to novel RE-specific prompting strategies targeting effective model generation.

연구 동기 및 목표

• 자연어 요구사항에서 ChatGPT가 UML 순서 다이어그램을 생성하는 데 있어서의 신뢰성을 평가하는 것.
• LLM에 의해 생성된 모델에서 흔히 발생하는 품질 문제, 특히 완전성과 정확성 측면을 규명하는 것.
• 요구사항 품질(예: 모호성과 일관성 없음)이 모델 생성 결과에 미치는 영향을 탐색하는 것.
• 미래의 LLM 기반 모델 생성을 위한 향상에 도움이 되는 문제의 체계적 프레임워크를 개발하는 것.
• 도메인 지식을 통합하고 인간의 참여를 포함한 반복적 프롬프팅 전략을 제안하여 모델의 정밀도를 향상시키는 것.

제안 방법

• 다양한 형식(예: 'shall' 문장, 사용자 스토리, 사용 사례 등)의 28개의 다양한 요구사항 문서를 활용한 탐색적 질적 연구를 수행하였다.
• 세 명의 경험이 풍부한 연구자가 ChatGPT에 요구사항을 입력하여 해당하는 UML 순서 다이어그램을 생성하였다.
• 각 생성된 다이어그램의 품질 문제를 기록한 평가 로그를 수집하였으며, 주로 완전성, 정확성, 구조적 일관성에 중점을 두었다.
• 평가 로그를 바탕으로 주제 분석을 수행하여 모델 생성 과정에서 반복적으로 나타나는 23개의 문제 유형(예: 요소 누락, 잘못된 메시지 순서 등)을 분류하였다.
• 독립적 평가와 Cohen’s kappa를 활용한 삼중 검증 접근법을 통해 평가 판단의 신뢰성을 확보하였다.
• 요청의 맥락적 및 도메인 특화 지식의 영향을 탐색하기 위해 요구사항 변형을 도입하고, 변화하거나 모호한 입력에 대한 모델 반응을 평가하였다.

실험 결과

연구 질문

• RQ1 자연어 요구사항을 프롬프트로 제공했을 때, ChatGPT는 얼마나 의미적으로 정확하고 완전한 UML 순서 다이어그램을 생성할 수 있는가?
• RQ2 요구사항의 약점(예: 모호성, 일관성 없음)은 LLM에 의해 생성된 순서 다이어그램의 품질에 어떤 영향을 미치는가?
• RQ3 생성된 다이어그램에서 가장 흔한 오류나 누락은 무엇이며, 이는 입력 품질이나 도메인 복잡성과 어떤 관련이 있는가?
• RQ4 반복적이고 도메인 인식형 프롬프팅 전략은 요구사항 공학에서 LLM에 의해 생성된 모델의 정확성과 완전성을 어떻게 향상시킬 수 있는가?
• RQ5 맥락적 지식 및 암묵적 도메인 지식은 LLM 기반 모델 생성의 신뢰성에 어떤 역할을 하는가? 그리고 이를 효과적으로 통합하는 방법은 무엇인가?

주요 결과

• ChatGPT에 의해 생성된 순서 다이어그램은 이해 가능성과 UML 표준 준수에서 뛰어난 성능를 보였으며, 입력 요구사항과 일관된 용어 사용을 유지하였다.
• 표준 준수 수준은 높았지만, 특히 복잡하거나 모호한 요구사항에서 참가자, 메시지, 라이프라인 등의 요소 누락으로 인해 완전성에 심각한 문제가 있었다.
• 정확성 문제도 빈번히 발생하여 잘못된 메시지 순서, 상호작용 흐름의 잘못된 표현, 지정된 행동과의 구조적 이탈이 관찰되었다.
• 특히 요구사항이 명확하지 않거나 기술적 도메인 지식이 필요로 하는 경우, 환영(홀루시네이션)이나 잘못된 해석이 빈번히 발생하였다.
• 요구사항의 약점(예: 모호성, 일관성 없음)이 존재할 경우, 모델 오류 발생 확률이 크게 증가하였으며, 이는 LLM이 입력 품질에 매우 민감함을 시사한다.
• 주제 분석 결과, 23개의 별도 문제 유형이 확인되었으며, 가장 흔한 문제들은 요소 누락, 잘못된 메시지 순서, 조건부 또는 동시 행동 모델링 실패 등이었다.