[논문 리뷰] Process Model Forecasting Using Time Series Analysis of Event Sequence Data

Johannes De Smedt, Anton Yeshchenko외 3명|arXiv (Cornell University)|2021. 05. 03.

Business Process Modeling and Analysis참고 문헌 36인용 수 6

한 줄 요약

이 논문은 이벤트 시퀀스 데이터로부터 전체 프로세스 모델을 예측하기 위한 새로운 시간 시리즈 기반 접근법을 제안한다. 직접 이어짐 관계(DFRs)를 시간 시리즈로 모델링함으로써 향후 프로세스 행동을 예측할 수 있도록 한다. 이 방법은 중간 크기의 프로세스 모델에서 일관성 측정 기준으로서 평균 평균 퍼센티지 오차(MAPE)가 15% 이하로 도달하며, 모델의 진화와 이탈을 탐색할 수 있도록 지원하는 새로운 시각화 분석 시스템(PCE)을 포함한다.

ABSTRACT

Process analytics is an umbrella of data-driven techniques which includes making predictions for individual process instances or overall process models. At the instance level, various novel techniques have been recently devised, tackling next activity, remaining time, and outcome prediction. At the model level, there is a notable void. It is the ambition of this paper to fill this gap. To this end, we develop a technique to forecast the entire process model from historical event data. A forecasted model is a will-be process model representing a probable future state of the overall process. Such a forecast helps to investigate the consequences of drift and emerging bottlenecks. Our technique builds on a representation of event data as multiple time series, each capturing the evolution of a behavioural aspect of the process model, such that corresponding forecasting techniques can be applied. Our implementation demonstrates the accuracy of our technique on real-world event log data.

연구 동기 및 목표

• 프로세스 마이닝에서 모델 수준의 예측적 프로세스 모니터링의 부족을 해결하기 위해, 특히 향후 프로세스 행동을 예측하기 위한 것이다.
• 이벤트 로그 내 행동 패턴의 시간적 진화를 분석하여 '향후 존재할' 프로세스 모델을 예측할 수 있도록 하기 위한 것이다.
• 프로세스 분석가가 치명적인 문제가 발생하기 전에 잠재적인 병목 현상과 프로세스 이탈을 조기에 탐지할 수 있도록 지원하기 위한 것이다.
• 과거, 현재, 예측된 프로세스 모델 간의 상호 비교를 가능하게 하는 상호작용 기반의 시각화 분석 시스템(PCE)을 개발하기 위한 것이다.
• 엔트로픽 관련성과 평균 평균 퍼센티지 오차(MAPE)를 사용하여 예측된 프로세스 모델의 정확도를 평가하기 위한 것이다.

제안 방법

• 각 DFR의 빈도와 가중치를 시간에 따라 측정하는 다중 시간 시리즈로 프로세스 행동을 표현한다.
• 각 DFR 시간 시리즈에 표준 시간 시리즈 예측 기법(ARIMA, AR(2), Holt-Winters, GARCH)을 적용하여 향후 DFR를 예측한다.
• 예측된 DFR들로부터 예측된 프로세스 모델을 직접 이어짐 그래프(DFG)로 재구성한다.
• 예측된 DFG와 실제 향후 DFG 간의 일관성 평가를 위한 정량적 측정 기준으로 엔트로픽 관련성을 사용한다.
• D3.js를 활용하여 과거, 현재, 예측된 프로세스 모델을 상호작용 가능한 브러시 및 필터링 기능과 함께 시각화하는 Process Change Exploration(PCE) 시스템을 구현한다.
• 모델 복잡도를 줄이기 위해 알파벳 축소(50%, 75%)를 적용하여 예측 안정성과 해석 가능성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 직접 이어짐 관계의 시간 시리즈 분석이 전체 프로세스 모델의 진화를 정확하게 예측할 수 있는가?
• RQ2 다양한 프로세스 모델과 알파벳 축소 비율에 따라 예측 정확도는 어떻게 변하는가?
• RQ3 예측된 모델이 실제 발생하기 전에 잠재적인 프로세스 이탈과 병목 현상을 어느 정도 조기에 드러낼 수 있는가?
• RQ4 PCE 시각화 분석 시스템은 프로세스 분석가가 시간에 따른 모델 변화를 탐색하는 데 얼마나 효과적인가?
• RQ5 다양한 신뢰 수준에서 엔트로픽 관련성을 사용하여 예측된 프로세스 모델에 대한 신뢰 구간을 신뢰성 있게 추정할 수 있는가?

주요 결과

• 활동 수가 중간 크기인 알파벳(10~30개 활동)을 가진 프로세스 모델의 경우, 실제 향후 모델과의 일관성 측정 기준으로서 평균 평균 퍼센티지 오차(MAPE)가 15% 이하로 도달한다.
• ARIMA(2,1,2) 및 GARCH 모델은 여러 데이터셋에서 다른 시간 시리즈 방법에 비해 일관되게 낮은 MAPE 값을 기록한다.
• PCE 시스템은 분석가가 시간이 지남에 따라 특정 활동의 비율 감소(예: 벌금 발송)나 종료 활동의 안정된 간선 가중치 변화와 같은 추세를 시각적으로 탐지할 수 있도록 한다.
• 이 방법은 주요 전환에 대해 DFR의 빈도와 가중치를 합리적인 정확도로 예측할 수 있으며, 핵심 전환에 대해 오차가 ±15% 이내로 제한된다.
• 알파벳 축소(50% 및 75%)를 적용함으로써 복잡도가 높은 모델에서 예측 안정성 향상과 오차 감소 효과를 얻을 수 있다.
• 엔트로픽 관련성 지표는 예측된 DFG와 실제 DFG 간의 격차를 효과적으로 포착하여 예측 품질의 정량적 평가를 지원한다.