[논문 리뷰] Revolutionizing Process Mining: A Novel Architecture for ChatGPT Integration and Enhanced User Experience through Optimized Prompt Engineering

Mehrdad Agha Mohammad Ali Kermani, Hamid Seddighi외 1명|arXiv (Cornell University)|2024. 05. 17.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

논문은 ETL 기반 아키텍처와 맞춤형 프롬프트 엔지니어링을 통해 ChatGPT를 프로세스 마이닝 도구에 통합하여 사용자 경험 및 분석 능력을 향상시키고, BehfaLab의 도구를 사용하는 17개 기업의 데이터를 통해 검증합니다.

ABSTRACT

In the rapidly evolving field of business process management, there is a growing need for analytical tools that can transform complex data into actionable insights. This research introduces a novel approach by integrating Large Language Models (LLMs), such as ChatGPT, into process mining tools, making process analytics more accessible to a wider audience. The study aims to investigate how ChatGPT enhances analytical capabilities, improves user experience, increases accessibility, and optimizes the architectural frameworks of process mining tools. The key innovation of this research lies in developing a tailored prompt engineering strategy for each process mining submodule, ensuring that the AI-generated outputs are accurate and relevant to the context. The integration architecture follows an Extract, Transform, Load (ETL) process, which includes various process mining engine modules and utilizes zero-shot and optimized prompt engineering techniques. ChatGPT is connected via APIs and receives structured outputs from the process mining modules, enabling conversational interactions. To validate the effectiveness of this approach, the researchers used data from 17 companies that employ BehfaLab's Process Mining Tool. The results showed significant improvements in user experience, with an expert panel rating 72% of the results as "Good". This research contributes to the advancement of business process analysis methodologies by combining process mining with artificial intelligence. Future research directions include further optimization of prompt engineering, exploration of integration with other AI technologies, and assessment of scalability across various business environments. This study paves the way for continuous innovation at the intersection of process mining and artificial intelligence, promising to revolutionize the way businesses analyze and optimize their processes.

연구 동기 및 목표

• 더 넓은 대중이 접근할 수 있는 AI 보조 프로세스 마이닝의 필요성을 동기화한다.
• ChatGPT와 같은 LLM이 프로세스 마이닝의 분석 능력과 사용자 경험을 어떻게 향상시킬 수 있는지 탐구한다.
• 정확한 AI 출력을 보장하기 위해 각 프로세스 마이닝 하위 모듈에 맞춘 프롬프트 엔지니어링 전략을 개발한다.
• API를 통해 프로세스 마이닝 모듈과 ChatGPT를 연결하는 ETL 기반 통합 아키텍처를 제안한다.

제안 방법

• API를 통해 ChatGPT와 프로세스 마이닝 엔진 모듈을 통합하는 ETL 파이프라인을 사용한다.
• 제로샷 및 최적화된 프롬프트 엔지니어링 기술을 적용하여 맥락에 관련된 출력을 생성한다.
• 대화형 상호 작용을 위해 프로세스 마이닝 모듈로부터 구조화된 출력을 받도록 ChatGPT를 연결한다.
• BehfaLab의 Process Mining Tool을 사용하는 17개 기업의 데이터를 활용하여 접근 방식을 검증한다.
• AI 출력에 대한 전문가 패널의 평가를 통해 사용자 경험을 Good(72%).

실험 결과

연구 질문

• RQ1 ChatGPT 통합은 프로세스 마이닝 도구의 접근성과 사용성을 어떻게 개선할 수 있는가?
• RQ2 하위 모듈별 어떤 프롬프트 엔지니어링 전략이 정확하고 관련성 높은 AI 출력을 산출하는가?
• RQ3 ETL 기반 통합 프레임워크가 ChatGPT와 프로세스 마이닝 엔진 간의 상호 작용을 향상시키는가?
• RQ4 다양한 기업에서 AI 보조 프로세스 마이닝을 사용할 때 사용자 경험에 미치는 측정된 영향은 어떤가?

주요 결과

• 전문가 패널은 AI 보조 출력의 72%를 Good로 평가했다.
• BehfaLab의 Process Mining Tool을 사용하는 17개 기업의 검증 데이터는 사용자 경험의 향상을 뒷받침한다.
• 이 아키텍처는 프로세스 마이닝 모듈의 구조화된 출력을 ChatGPT에 전달함으로써 대화형 상호 작용이 가능하게 한다.
• 하위 모듈별 맞춤 프롬프트 엔지니어링은 AI가 생성하는 인사이트의 적합성과 정확성을 향상시킨다.