[논문 리뷰] ProcessTransformer: Predictive Business Process Monitoring with Transformer Network

Zaharah Bukhsh, Aaqib Saeed외 1명|arXiv (Cornell University)|2021. 04. 01.

Business Process Modeling and Analysis참고 문헌 33인용 수 30

한 줄 요약

본 논문은 ProcessTransformer를 제안한다. 이벤트 로그로부터 고수준 표현을 학습해 최소한의 전처리로 다음 활동, 이벤트 시간, 남은 시간을 예측하는 Transformer 기반 모델이며, 실제 9개 데이터셋에서 강한 정확도와 MAE를 달성한다.

ABSTRACT

Predictive business process monitoring focuses on predicting future characteristics of a running process using event logs. The foresight into process execution promises great potentials for efficient operations, better resource management, and effective customer services. Deep learning-based approaches have been widely adopted in process mining to address the limitations of classical algorithms for solving multiple problems, especially the next event and remaining-time prediction tasks. Nevertheless, designing a deep neural architecture that performs competitively across various tasks is challenging as existing methods fail to capture long-range dependencies in the input sequences and perform poorly for lengthy process traces. In this paper, we propose ProcessTransformer, an approach for learning high-level representations from event logs with an attention-based network. Our model incorporates long-range memory and relies on a self-attention mechanism to establish dependencies between a multitude of event sequences and corresponding outputs. We evaluate the applicability of our technique on nine real event logs. We demonstrate that the transformer-based model outperforms several baselines of prior techniques by obtaining on average above 80% accuracy for the task of predicting the next activity. Our method also perform competitively, compared to baselines, for the tasks of predicting event time and remaining time of a running case

연구 동기 및 목표

• 이벤트 로그를 이용해 실행 중인 프로세스의 예측적 비즈니스 프로세스 모니터링(PBPM)의 필요성을 제시하고 운영 효율성 및 자원 관리 개선을 도모한다.
• 순환 없이 이벤트 시퀀스의 장기 의존성을 포착하기 위해 Transformer 기반 아키텍처를 제안한다.
• 최소한의 전처리로 엔드-투-엔드 학습이 여러 PBPM 태스크에서 경쟁력 있거나 우수한 성능을 달성함을 입증한다.

제안 방법

• 학습 가능한 임베딩과 36차원 위치 인코딩을 더해 이벤트 시퀀스를 임베딩한다.
• 순환 없이 트레이스에서 표현을 학습하기 위해 다중 헤드 자기 주의를 적용한다.
• 전역 최대 풀링과 피드포워드 레이어를 사용해 태스크별 출력을 생성한다.
• 다음 활동에 대해 범주 교차 엔트로피, 시간 예측에는 회귀 손실(MAE 유사)을 사용해 태스크에 적합한 손실로 학습한다.
• 아홉 개의 실제 로그를 평가하고 PBPM 문헌의 베이스라인과 비교한다.
• 세 가지 태스크에 대한 결과를 제공한다: 다음 활동 예측, 다음 이벤트 시간, 남은 시간 예측.

실험 결과

연구 질문

• RQ1 Transformer 기반 모델이 최소한의 전처리로 원시 이벤트 로그에서 PBPM 태스크를 효과적으로 학습할 수 있는가?
• RQ2 확립된 벤치마크와 비교했을 때 ProcessTransformer는 다음 활동, 이벤트 시간, 남은 시간 예측에서 어떤 성능을 보이는가?
• RQ3 이벤트 시퀀스의 장거리 의존성이 다양한 데이터 세트에서 실행 중인 케이스의 예측 정확도를 향상시키는가?

주요 결과

Dataset	Next Activity Accuracy (%)	Next Activity F-score	Event Time MAE (days)	Remaining Time MAE (days)
Helpdesk	85.63	0.82	2.98	3.72
BPIC12	85.20	0.83	0.25	4.60
BPIC12w	91.51	0.91	0.37	4.87
BPIC12cw	78.48	0.77	0.82	5.14
BPIC13	62.11	0.60	0.99	8.36
BPIC20d	86.07	0.84	1.22	2.44
BPIC20i	93.35	0.91	3.26	10.68
Hospital	85.83	0.82	9.33	44.87
Traffic fines	90.00	0.87	40.28	98.24

• 평가된 데이터 세트에서 다음 활동 예측의 평균 정확도가 80%를 상회한다.
• 다음 활동 MAE의 데이터 세트별 범위: 2.98 (Helpdesk), 0.25 (BPIC12), 0.37 (BPIC12w), 0.82 (BPIC12cw), 0.99 (BPIC13).
• 데이터 세트 전반의 평균 이벤트 시간 MAE는 1.08일이다.
• 데이터 세트 전반의 평균 남은 시간 MAE는 5.33일이다.
• ProcessTransformer는 광범위한 전처리나 특징 엔지니어링 없이도 경쟁력 있거나 우수한 성능을 달성한다.
• 모델은 아홉 개의 실제 로그에서 강한 일반화를 보이며 짧은 트레이스와 긴 트레이스를 모두 처리한다.