[논문 리뷰] Conversational Process Modeling: Can Generative AI Empower Domain Experts in Creating and Redesigning Process Models?

Nataliia Klievtsova, Janik-Vasily Benzin외 3명|arXiv (Cornell University)|2023. 04. 19.

Business Process Modeling and AnalysisBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 도메인 전문가가 대화형 모델링을 통해 비즈니스 프로세스 모델을 생성하고 재설계하는 데 생성형 AI 챗봇이 어떻게 도움이 될 수 있는지 조사한다. 제안된 프레임워크는 KPI, 프롬프트, 사용자 설문 조사 등을 활용해 LLM이 생성한 모델을 평가하는 데 사용되며, 제어 흐름에서 43%의 정확도를 기록한 바, 챗봇은 합리적으로 완전하고 정확한 모델을 생성할 수 있지만 품질의 변동성과 의미 이해의 한계로 인해 인간의 감시가 여전히 필수적임을 밝혀냈다.

ABSTRACT

AI-driven chatbots such as ChatGPT have caused a tremendous hype lately. For BPM applications, several applications for AI-driven chatbots have been identified to be promising to generate business value, including explanation of process mining outcomes and preparation of input data. However, a systematic analysis of chatbots for their support of conversational process modeling as a process-oriented capability is missing. This work aims at closing this gap by providing a systematic analysis of existing chatbots. Application scenarios are identified along the process life cycle. Then a systematic literature review on conversational process modeling is performed, resulting in a taxonomy of application scenarios for conversational process modeling, including paraphrasing and improvement of process descriptions. In addition, this work suggests and applies an evaluation method for the output of AI-driven chatbots with respect to completeness and correctness of the process models. This method consists of a set of KPIs on a test set, a set of prompts for task and control flow extraction, as well as a survey with users. Based on the literature and the evaluation, recommendations for the usage (practical implications) and further development (research directions) of conversational process modeling are derived.

연구 동기 및 목표

• 비즈니스 프로세스 관리(BPM) 분야에서 대화형 프로세스 모델링(ConverMod)을 위한 챗봇에 대한 체계적 분석 부족을 메우기 위해.
• 비즈니스 프로세스 라이프사이클 전반에 걸쳐 ConverMod의 응용 시나리오를 식별하고 분류하기 위해.
• 완전성과 정확성 측면에서 LLM이 생성한 프로세스 모델을 평가하기 위한 평가 프레임워크를 개발하고 적용하기 위해.
• 채팅봇을 BPM 워크플로우에 통합하기 위한 실무적 함의와 연구 방향 제시하기 위해.
• 프롬프트 엔지니어링, 텍스트 표현 방식, 사용자 전문성의 영향이 모델 품질 결과에 미치는 영향을 조사하기 위해.

제안 방법

• ConverMod 응용 시나리오의 분류 체계를 수립하기 위해 체계적 문헌 리뷰를 수행하며, 프로세스 기술서의 어색한 표현 다듬기 및 향상 기능 포함.
• 고등 교육 프로세스 데이터를 기반으로 테스트 세트를 설계하고, 이를 바탕으로 LLM(GPT-3.5, GPT-4)의 작업 추출 및 제어 흐름 추출 능력을 평가.
• LLM 출력물을 바탕으로 Mermaid.js와 Graphviz를 사용해 프로세스 모델을 생성하여 시각적 검증 가능하게 함.
• 테스트 세트에서 모델의 완전성과 정확성을 정량적으로 평가하기 위해 일련의 KPI 정의.
• 골드 표준 모델과 LLM이 생성한 모델을 비교하는 사용자 설문 조사를 통해 정성적 평가 수행 — 완전성 및 정확성 기준.
• 결과를 종합해, 사내 및 오픈소스 LLM 모두에 적용 가능한 ConverMod 능력 평가를 위한 방법론적 프레임워크 구축.

실험 결과

연구 질문

• RQ1 RQ1: 대화형 모델링 방법/도구는 어떻게 비즈니스 프로세스 모델링에 활용될 수 있는가?
• RQ2 RQ2: 비즈니스 프로세스 모델링을 위한 대화형 모델링 방법/도구는 무엇이 있는가?
• RQ3 RQ3: 대화형 모델링 방법/도구는 프로세스 모델링 품질 측면에서 어떻게 평가될 수 있는가?
• RQ4 RQ4: 채팅봇은 BPM 모델링 실무 및 연구에 어떤 실무적 함의와 연구 방향을 제공하는가?

주요 결과

• LLM이 생성한 프로세스 모델은 제어 흐름 평가에서 평균 43%의 정확도를 기록하여 향상 여지가 크다는 점을 시사한다.
• 의미적 정확도가 낮음에도 불구하고, 설문 조사 결과 사용자들은 프로세스 모델링 경험 여부와 관계없이 LLM이 생성한 모델을 골드 표준 모델보다 선호했다.
• LLM 출력물의 완전성은 높았지만, 제어 흐름 및 의미적 구조의 정확성은 여전히 주요 과제로 남아 있었다.
• 생성된 모델의 품질은 프롬프트 설계, 텍스트 표현 방식, 입력 기술서의 복잡성에 매우 민감하게 영향을 받았다.
• 골드 표준 모델이 존재하더라도 도메인 전문가가 여러 LLM 출력물 중 최적의 모델을 선별하는 데 어려움을 겪었다.
• 현재 상용 챗봇은 프로세스 모델 의미를 충분히 이해하지 못해 모델 비교, 질의, 리팩터링과 같은 고급 작업에 아직 신뢰할 수 없다.