[논문 리뷰] Outcome-Oriented Predictive Process Monitoring: Review and Benchmark

Irene Teinemaa, Marlon Dumas외 2명|arXiv (Cornell University)|2017. 07. 21.

Business Process Modeling and Analysis인용 수 30

한 줄 요약

이 논문은 9개의 실제 이벤트 로그에서 유래한 24개의 작업을 사용하여 11개의 결과 중심 예측 프로세스 모니터링 방법에 대한 체계적 리뷰, 분류 체계, 벤치마크를 제시한다. 분석 결과 손실 허용 시퀀스 인코딩(예: 활동 빈도)이 손실 없는 색인 기반 인코딩보다 성능이 뛰어나며, 이는 모든 트레이스 길이에 걸쳐 단일 모델을 훈련할 수 있게 하고 더 높은 AUC 점수를 제공한다.

ABSTRACT

Predictive business process monitoring refers to the act of making predictions about the future state of ongoing cases of a business process, based on their incomplete execution traces and logs of historical (completed) traces. Motivated by the increasingly pervasive availability of fine-grained event data about business process executions, the problem of predictive process monitoring has received substantial attention in the past years. In particular, a considerable number of methods have been put forward to address the problem of outcome-oriented predictive process monitoring, which refers to classifying each ongoing case of a process according to a given set of possible categorical outcomes - e.g., Will the customer complain or not? Will an order be delivered, canceled or withdrawn? Unfortunately, different authors have used different datasets, experimental settings, evaluation measures and baselines to assess their proposals, resulting in poor comparability and an unclear picture of the relative merits and applicability of different methods. To address this gap, this article presents a systematic review and taxonomy of outcome-oriented predictive process monitoring methods, and a comparative experimental evaluation of eleven representative methods using a benchmark covering 24 predictive process monitoring tasks based on nine real-life event logs.

연구 동기 및 목표

• 일관되지 않은 데이터셋, 평가 지표, 기준 모델로 인해 결과 중심 예측 프로세스 모니터링 간 비교 가능성이 부족한 문제를 해결하기 위해.
• 트레이스 버킷화 및 시퀀스 인코딩을 기반으로 한 분류 체계를 활용해 기존 방법을 체계적으로 리뷰하고 분류하기 위해.
• 9개의 실제 이벤트 로그에서 유래한 24개의 예측 모니터링 작업을 포함한 통합 벤치마크를 구축하여 방법 간 공정한 비교를 가능하게 하기 위해.
• 오픈소스로 확장 가능한 프레임워크를 사용해 동일한 실험 조건에서 11개의 대표적 방법을 평가하기 위해.
• 모델 성능에 영향을 미치는 핵심 요인, 예를 들어 개념 드프트와 특징 공학 선택 사항을 규명하기 위해.

제안 방법

• 11개의 대표적 결과 중심 예측 프로세스 모니터링 방법을 식별하기 위해 체계적 문헌 리뷰를 수행하였다.
• 두 가지 차원 기반의 분류 체계를 제안하였는데, 각각 트레이스 버킷화 방법(예: 길이 기반 대비 버킷화 없음)과 시퀀스 인코딩 방법(예: 색인 기반 대비 빈도 기반)이다.
• 모든 11개의 방법을 통합된 오픈소스 프레임워크에 구현하여 24개의 작업 전반에 걸쳐 일관된 평가를 보장하였다.
• 실제 이벤트 로그를 활용해 각 작업이 프리픽스 트레이스와 최종 케이스 결과를 포함하도록 24개의 예측 모니터링 작업을 구성하였다.
• 표준 평가 지표(예: AUC)를 적용하고 통계 분석을 수행하여 방법 간 성능을 비교하였다.
• 통계적 검증과 드프트 탐지 기법을 사용해 데이터 속성의 개념 드프트를 평가하여 모델의 강건성 여부를 점검하였다.

실험 결과

연구 질문

• RQ1 손실 허용 대비 손실 없는 시퀀스 인코딩 전략 중 어느 것이 결과 중심 프로세스 모니터링에서 더 높은 예측 정확도를 달성하는가?
• RQ2 트레이스 버킷화 전략의 선택이 다양한 트레이스 길이에 걸쳐 모델 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 이벤트 로그 속성의 개념 드프트가 예측 모니터링 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ4 모든 프리픽스 길이에 대해 단일 분류기로 훈련한 모델이 길이 버킷 기반 하위집합으로 훈련한 모델보다 성능이 뛰어나지 않는가?
• RQ5 상호 케이스 특징과 텍스트 속성은 예측 성능에 어떤 영향을 미치며, 향후 확장 가능성이 있는 기회가 무엇이 있는가?

주요 결과

• 손실 허용 시퀀스 인코딩(예: 활동 빈도)은 손실 없는 색인 기반 인코딩보다 더 높은 AUC 점수를 기록하였으며, 이는 모든 트레이스 길이에서 단일 분류기가 학습할 수 있도록 해주기 때문이다.
• 모든 프리픽스 길이에 걸쳐 통합된 분류기를 사용한 결과, 길이 버킷 기반 접근 방식보다 성능이 뛰어났다. 이는 다수의 모델이 필요로 하며 일반화 능력이 떨어지기 때문이다.
• 9개의 데이터셋 중 두 개에서 개념 드프트가 감지되었으며, 이는 모든 평가된 방법의 성능을 심각하게 저하시켰다. 이는 실무에서 드프트 탐지 기능이 필수적임을 시사한다.
• 최근 텍스트 마이닝 분야의 발전에도 불구하고 기존 방법들은 대부분 텍스트 속성을 무시하고 있으며, 이는 특징 공학 능력을 확장할 수 있는 잠재적 기회를 놓치고 있음을 의미한다.
• 상호 케이스 특징(예: 열려 있는 케이스 수)은 여전히 미흡하게 활용되고 있어, 더 풍부한 맥락 모델링을 통해 모델 정확도 향상 가능성이 크다.
• LSTM 기반 모델은 다음 활동 예측 및 잔여 시간 예측 분야에서 성공을 거두었음에도 불구하고 결과 예측 분야에서는 여전히 탐색되지 않은 영역이며, 향후 연구를 위한 유망한 방향이다.