[논문 리뷰] How LLMs Aid in UML Modeling: An Exploratory Study with Novice Analysts

Beian Wang, Chong Wang외 3명|arXiv (Cornell University)|2024. 04. 27.

Business Process Modeling and Analysis인용 수 4

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Models, LLMs)이 초보자 소프트웨어 공학 수업 수강생들이 UML 사용 사례 다이어그램, 클래스 다이어그램, 순서 다이어그램을 작성하는 데 어떻게 도움이 되는지 조사한다. 45명의 학부생을 대상으로 한 탐색적 실험을 통해 저자들은 LLM이 유용한 안내를 제공하고 모델링 효율성을 향상시키지만, 관계를 정확히 포착하거나 형식 기반 제약 조건을 처리하는 데에는 한계를 보이며, 교육적 및 전문적 환경에서 개선된 프롬프팅과 인간의 감시가 필요하다는 점을 밝혀냈다.

ABSTRACT

Since the emergence of GPT-3, Large Language Models (LLMs) have caught the eyes of researchers, practitioners, and educators in the field of software engineering. However, there has been relatively little investigation regarding the performance of LLMs in assisting with requirements analysis and UML modeling. This paper explores how LLMs can assist novice analysts in creating three types of typical UML models: use case models, class diagrams, and sequence diagrams. For this purpose, we designed the modeling tasks of these three UML models for 45 undergraduate students who participated in a requirements modeling course, with the help of LLMs. By analyzing their project reports, we found that LLMs can assist undergraduate students as novice analysts in UML modeling tasks, but LLMs also have shortcomings and limitations that should be considered when using them.

연구 동기 및 목표

• LLM이 UML 모델링 작업 중 초보자 분석가를 지원하는 데서 수행하는 역할을 조사하기 위해.
• LLM이 정확하고 완전한 UML 다이어그램—특히 사용 사례, 클래스, 순서 다이어그램—을 생성하는 데 효과적인지 평가하기 위해.
• 초보자 대상 요구사항 모델링을 보조할 때 LLM의 강점과 한계를 특정하기 위해.
• 핵심 모델링 역량을 대체하지 않으면서 보조 도구로 LLM을 활용할 수 있는 방법을 평가함으로써 소프트웨어 공학 교육에 영향을 주기 위해.
• 주요 실패 요인(예: 관계 인식 오류, 형식 관련 정보 손실)을 특정하여 향후 AI 보조 모델링 도구 개발을 안내하기 위해.

제안 방법

• 소프트웨어 요구사항 모델링 수업을 수강 중인 45명의 학부생을 대상으로 통제된 실험을 수행하였다.
• 학생들은 자연어 프롬프트를 사용하여 LLM의 도움을 받아 세 가지 유형의 UML 모델(사용 사례, 클래스, 순서 다이어그램)을 작성하도록 지시받았다.
• 학생들의 프로젝트 보고서(최종 UML 다이어그램과 인간-LLM 상호작용 로그 포함)를 수집하고 수작업으로 분석하였다.
• 정확성과 완전성을 평가하기 위해 기준별로 이진 스코어링 시스템(정확/부정확)을 사용하여 모델 품질을 평가하였다.
• LLM 출력 형식(예: 텍스트 대비 PlantUML)의 차이가 모델링 요소 인식과 다이어그램 품질에 미치는 영향을 평가하기 위해 비교 분석을 수행하였다.
• 특히 관계 모델링과 구조적 정합성 유지 측면에서 LLM 생성 모델의 반복적인 오류와 한계를 특정하였다.

Figure 1 : The process of the experiment

실험 결과

연구 질문

• RQ1 LLM은 초보자 분석가가 정확하고 완전한 UML 사용 사례 다이어그램을 작성하는 데 어느 정도 도움을 줄 수 있는가?
• RQ2 LLM은 클래스 다이어그램 생성에 있어 클래스 속성, 메서드, 연관 관계를 모델링하는 데 얼마나 효과적인가?
• RQ3 LLM은 순서 다이어그램 생성에 있어 어떻게 지원하거나 방해하는가? 특히 메시지 흐름과 라이프라인을 모델링하는 데서 어떤 영향을 미치는가?
• RQ4 다른 LLM 출력 형식(예: 자연어 대비 PlantUML)은 결과 UML 모델의 품질과 정확성에 어떤 영향을 미치는가?
• RQ5 LLM의 UML 모델링에서 주요 한계는 무엇이며, 이러한 한계는 초보자 사용자를 위한 AI 생성 모델의 신뢰성에 어떤 영향을 미치는가?

주요 결과

• LLM은 초보자 분석가가 UML 모델을 생성하는 데 있어 뚜렷한 도움을 주며, 가치 있는 제안을 제공하고 모델링 과정을 가속화한다.
• LLM은 액터, 클래스, 메시지와 같은 기본적인 구조적 요소 생성에 강력한 성능을 보였지만, 연관 관계나 의존성과 같은 복잡한 관계에서는 어려움을 겪었다.
• PlantUML와 같은 구조화된 출력 형식을 사용할 경우 자유 텍스트 기반 LLM 출력 대비 모델 요소의 정확도가 향상되어 형식 및 문법 오류가 감소하였다.
• 주요 한계 중 하나는 LLM이 관계 관련 요소를 생략하거나 잘못 표현하여 완전하지 않거나 의미적으로 잘못된 다이어그램을 생성하는 경향이 있다는 점이었다.
• 특히 순서 다이어그램과 클래스 다이어그램에서 LLM 생성 텍스트 기반 기술을 다이어그램 형식으로 변환할 때 정보 손실이 발생하였다.
• 학생들은 자주 LLM이 생성한 모델을 수작업으로 수정하거나 재작성해야 했으며, 이는 LLM이 자율적인 모델링 도구보다는 보조 도구로 사용되어야 한다는 점을 시사한다.

Figure 2 : Distribution of the participants with/without experience of using LLMs