[논문 리뷰] Leveraging Large Language Models (LLMs) for Process Mining (Technical Report)

Alessandro Berti, Mahnaz Sadat Qafari|arXiv (Cornell University)|2023. 07. 24.

Business Process Modeling and Analysis인용 수 8

한 줄 요약

이 논문은 로그와 모델을 텍스트 추상화로 변환하고 다양한 프롬프트 전략을 적용하여 대형 언어 모델(GPT-4 및 Bard)을 활용해 프로세스 마이닝 아티팩트를 분석하는 것을 조사한다.

ABSTRACT

This technical report describes the intersection of process mining and large language models (LLMs), specifically focusing on the abstraction of traditional and object-centric process mining artifacts into textual format. We introduce and explore various prompting strategies: direct answering, where the large language model directly addresses user queries; multi-prompt answering, which allows the model to incrementally build on the knowledge obtained through a series of prompts; and the generation of database queries, facilitating the validation of hypotheses against the original event log. Our assessment considers two large language models, GPT-4 and Google's Bard, under various contextual scenarios across all prompting strategies. Results indicate that these models exhibit a robust understanding of key process mining abstractions, with notable proficiency in interpreting both declarative and procedural process models. In addition, we find that both models demonstrate strong performance in the object-centric setting, which could significantly propel the advancement of the object-centric process mining discipline. Additionally, these models display a noteworthy capacity to evaluate various concepts of fairness in process mining. This opens the door to more rapid and efficient assessments of the fairness of process mining event logs, which has significant implications for the field. The integration of these large language models into process mining applications may open new avenues for exploration, innovation, and insight generation in the field.

연구 동기 및 목표

• 대형 언어 모델을 전통적 및 객체 중심의 프로세스 마이닝 아티팩트와 통합하도록 동기를 부여한다.
• 프로세스 마이닝 아티팩트를 위한 텍스트 추상화를 개발하여 LLM의 이해를 가능하게 한다.
• LLM을 활용한 프롬프트 전략(직접, 다중 프롬프트, 그리고 데이터베이스 쿼리 생성)을 평가한다.
• 프로세스 마이닝에서 절차형 및 선언형 모델과 공정성 개념에 대한 LLM의 성능을 평가한다.

제안 방법

• 프로세스 마이닝 아티팩트(DFG, 페트리 네트, OC-DFG, DECLARE, 시간 프로파일)의 텍스트 인코딩을 생성한다.
• 직접 응답, 다중 프롬프트 응답, 그리고 이벤트 로그에 대해 가설을 검증하기 위한 데이터베이스 쿼리 생성을 포함한 프롬프트 전략을 설명하고 구현한다.
• 다양한 맥락과 아티팩트 유형에 걸쳐 두 가지 LLM(GPT-4 및 Google Bard)을 실험한다.
• 복잡한 모델의 컨텍스트 창 제약에 맞추기 위한 전처리 및 약어화 전략을 논의한다(예: DECLARE 모델).
• 이벤트 로그를 프로세스 마이닝의 머신러닝 task를 위한 숫자 입력으로 변환하기 위한 특징 추출 방법을 개략적으로 제시한다(원-핫 인코딩, 집계, 시퀀스, n-그램, 임베딩).
• 개인별, 그룹별, 절차적, 반사실적 공정성을 포함한 프로세스 마이닝의 공정성 개념을 다루고, 공정성 평가를 위한 공용 데이터의 가용성에 대해 논의한다.

실험 결과

연구 질문

• RQ1 텍스트로 인코딩되었을 때 LLM은 전통적 및 객체 중심의 프로세스 마이닝 아티팩트를 얼마나 효과적으로 이해하고 추론할 수 있는가?
• RQ2 LLM을 사용한 프로세스 마이닝 작업에서 강인한 분석 및 가설 검증을 가능하게 하는 프롬프트 전략은 무엇인가?
• RQ3 LLM은 절차형, 선언형 및 객체 중심 프로세스 모델을 어느 정도까지 지원하고 이벤트 로그의 공정성을 평가할 수 있는가?

주요 결과

• LLMs(GPT-4 및 Bard)는 주요 프로세스 마이닝 추상화에 대한 강력한 이해를 보이고 선언형 및 절차형 모델을 모두 해석할 수 있다.
• 객체 중심 설정에서 좋은 성능을 보이며 객체 중심 프로세스 마이닝의 발전을 뒷받침한다.
• 텍스트 추상화는 LLM이 directly-follows graphs, Petri nets, 및 DECLARE/temporal 모델에 대해 추론하도록 한다.
• 다중 프롬프트 및 데이터베이스 쿼리 생성을 포함한 프롬프트 전략은 원래의 이벤트 로그에 대한 가설 검증에 도움을 준다.
• LLMs는 프로세스 마이닝의 공정성 개념을 평가하는 능력을 보여주며, 신속한 공정성 평가 가능성을 시사한다.