[논문 리뷰] An empirical comparison of deep-neural-network architectures for next activity prediction using context-enriched process event logs

Sven Weinzierl, Sandra Zilker외 6명|arXiv (Cornell University)|2020. 05. 03.

Business Process Modeling and Analysis참고 문헌 51인용 수 16

한 줄 요약

이 논문은 실생활의 맥락이 풍부한 프로세스 이벤트 로그 5개에서 다음 활동 예측을 위한 세 가지 딥 뉴럴 네트워크(DNN) 아키텍처—MLP, LSTM, CNN—과 다섯 가지 인코딩 기법(이진, 순서형, 원-핫, 해시, word2vec)을 조합하여 실증적으로 평가한다. 주요 기여는 DNN 아키텍처 선택과 속성 인코딩이 예측 성능에 상당한 영향을 미친다는 것을 규명한 것으로, 특히 LSTM과 word2vec가 높은 클래스 불균형과 낮은 인스턴스/버전 비율 조건에서 가장 우수한 성능을 보였다.

ABSTRACT

Researchers have proposed a variety of predictive business process monitoring (PBPM) techniques aiming to predict future process behaviour during the process execution. Especially, techniques for the next activity prediction anticipate great potential in improving operational business processes. To gain more accurate predictions, a plethora of these techniques rely on deep neural networks (DNNs) and consider information about the context, in which the process is running. However, an in-depth comparison of such techniques is missing in the PBPM literature, which prevents researchers and practitioners from selecting the best solution for a given event log. To remedy this problem, we empirically evaluate the predictive quality of three promising DNN architectures, combined with five proven encoding techniques and based on five context-enriched real-life event logs. We provide four findings that can support researchers and practitioners in designing novel PBPM techniques for predicting the next activities.

연구 동기 및 목표

• 예측적 비즈니스 프로세스 모니터링(PBPM)에서 다음 활동 예측을 위한 딥 뉴럴 네트워크(DNN) 아키텍처와 인코딩 기법 간의 종합적인 실증적 비교가 부족한 문제를 해결하기 위해.
• 다양한 DNN 아키텍처(MLP, LSTM, CNN)와 인코딩 방법(이진, 순서형, 원-핫, 해시, word2vec)이 실생활의 맥락이 풍부한 이벤트 로그에서 예측 성능에 어떻게 영향을 미치는지 평가하기 위해.
• 특히 클래스 불균형과 낮은 인스턴스/버전 비율 등의 도전적인 조건에서 DNN 아키텍처와 인코딩 기법의 조합 중에서 가장 높은 예측 정확도를 보이는 조합을 특정하기 위해.
• 운영적 비즈니스 프로세스에서 다음 활동 예측을 위한 최적의 DNN 구성 선택에 실질적인 통찰을 제공하기 위해.

제안 방법

• 본 연구는 원문 논문의 초모수를 기반으로 다층 퍼셉트론(MLP), 장기 단기 기억(LSTM), 컨volution 신경망(CNN)이라는 세 가지 DNN 아키텍처를 평가한다.
• 이진, 순서형, 원-핫, 해시, word2vec의 다섯 가지 인코딩 기법을 적용하여 범주형 및 맥락 속성들을 DNN에 입력 가능한 조밀한 벡터 표현으로 변환한다.
• 클래스 불균형, 인스턴스/버전 비율 등 다양한 특성을 지닌 다섯 개의 실생활 맥락이 풍부한 이벤트 로그를 데이터셋으로 사용하여 평가한다.
• 정확도, F1-스코어, AUC-PR과 같은 표준 분류 지표를 사용하여 성능을 측정하며, 로그의 높은 클래스 불균형으로 인해 AUC-PR에 특별한 중점을 두었다.
• 다양한 DNN 아키텍처와 인코딩 기법 간의 모델 성능을 비교하여, 다양한 데이터 조건에서 최고 성능을 보이는 조합을 규명한다.
• 특히 인스턴스/버전 비율과 클래스 분포와 같은 데이터 특성이 성능에 미치는 영향을 분석하기 위해 통계적 분석을 실시한다.

실험 결과

연구 질문

• RQ1 맥락이 풍부한 이벤트 로그와 조합했을 때, 다음 활동 예측에서 어떤 딥 뉴럴 네트워크 아키텍처(MLP, LSTM, CNN)가 가장 높은 예측 성능을 내는가?
• RQ2 다양한 인코딩 기법(이진, 순서형, 원-핫, 해시, word2vec)은 다음 활동 예측 작업에서 DNN의 예측 품질에 어떻게 영향을 미치는가?
• RQ3 클래스 불균형과 인스턴스/버전 비율과 같은 데이터 특성이 DNN 기반 다음 활동 예측 모델의 성능에 어느 정도의 영향을 미치는가?
• RQ4 특정 DNN 아키텍처와 인코딩 기법의 조합가 장기적으로 다양한 실생활 이벤트 로그에서 다른 조합보다 뛰어난 성능을 보이는가?

주요 결과

• LSTM에 word2vec 인코딩을 적용한 조합이 대부분의 이벤트 로그에서 가장 높은 예측 성능을 기록했으며, 특히 클래스 불균형과 낮은 인스턴스/버전 비율 조건에서 뛰어난 성능을 보였다.
• AUC-PR 지표는 인스턴스/버전 비율이 낮은 로그(1.40–2.84)에서는 성능이 현저히 떨어지는 것으로 나타났고, 비율이 높은 로그(8.26–20.27)와 비교할 때 데이터 희소성이 예측 정확도를 제한한다는 것을 시사했다.
• 특히 '해피 패스' 현상이 있는 로그에서는 높은 클래스 불균형이 지속적으로 F1-스코어와 AUC-PR 값을 낮추는 경향을 보였으며, 이는 PBPM에서 불균형 데이터 문제의 도전성에 대한 경고를 제공한다.
• 활동과 맥락 속성 간의 의미 관계를 포괄적으로 포착하는 데서 word2vec가 다른 인코딩 기법들보다 뛰어난 성능을 보였으며, 특히 활동 클래스의 고카디널리티를 가진 로그에서 두드러졌다.
• LSTM과 word2vec의 조합은 복잡한 프로세스 버전과 높은 맥락 다양성을 지닌 로그에서 정밀도, 재현율, F1-스코어의 균형을 가장 잘 유지했다.
• 본 연구에서는 MLP와 CNN 아키텍처가 LSTM에 비해 일반적으로 성능이 열등한 것으로 나타났으며, 특히 장기적이거나 복잡한 프로세스 트레이스와 높은 맥락 의존성이 있는 로그에서 두드러졌다.