[논문 리뷰] Incremental Predictive Process Monitoring: How to Deal with the Variability of Real Environments

Chiara Di Francescomarino, Chiara Ghidini외 3명|arXiv (Cornell University)|2018. 04. 11.

Data Stream Mining Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 새로운 사례가 완료될 때마다 모델을 실시간으로 업데이트하는 적응형 학습 알고리즘을 사용하여 점진적 예측 프로세스 모니터링을 제안한다. 이는 변화하는 프로세스 행동에 동적으로 적응할 수 있도록 한다. 실제 및 합성 데이터에서 평가한 결과, 정적 모델에 비해 더 높은 예측 정확도를 보이며, 사례 인코딩 전략이 성능에 상당한 영향을 미친다.

ABSTRACT

A characteristic of existing predictive process monitoring techniques is to first construct a predictive model based on past process executions, and then use it to predict the future of new ongoing cases, without the possibility of updating it with new cases when they complete their execution. This can make predictive process monitoring too rigid to deal with the variability of processes working in real environments that continuously evolve and/or exhibit new variant behaviors over time. As a solution to this problem, we propose the use of algorithms that allow the incremental construction of the predictive model. These incremental learning algorithms update the model whenever new cases become available so that the predictive model evolves over time to fit the current circumstances. The algorithms have been implemented using different case encoding strategies and evaluated on a number of real and synthetic datasets. The results provide a first evidence of the potential of incremental learning strategies for predicting process monitoring in real environments, and of the impact of different case encoding strategies in this setting.

연구 동기 및 목표

• 모델 학습 후에도 적응할 수 없는 기존 예측 프로세스 모니터링 기법의 경직성 문제를 해결하기 위해.
• 완료된 사례를 점진적으로 업데이트하여 지속적인 모델 개선을 가능하게 하기 위해.
• 다양한 사례 인코딩 전략이 점진적 학습 성능에 미치는 영향을 평가하기 위해.
• 실제 프로세스 모니터링 환경에서 점진적 학습의 실현 가능성과 효과성을 입증하기 위해.

제안 방법

• 새로운 사례가 실행을 완료할 때마다 예측 모델을 업데이트하는 점진적 학습 알고리즘을 적용한다.
• 다양한 사례 인코딩 전략(예: 이벤트 시퀀스 표현 방식)을 사용하여 프로세스 인스턴스를 학습을 위한 입력 특징으로 변환한다.
• 온라인 학습을 지원하는 기계 학습 모델을 적용하여, 다시 시작부터 재학습하지 않고도 파라미터를 업데이트할 수 있도록 한다.
• 실제 및 합성 데이터셋에서 점진적으로 모델을 학습하여 변화하는 프로세스 행동을 시뮬레이션한다.
• 완료된 사례로부터 피드백을 통합하여 향후 예측을 개선하고 모델의 일반화 능력을 향상시킨다.
• 시간이 지남에 따라 모델 성능을 평가하여 변화하는 프로세스 다이내믹스에 대한 적응 능력을 분석한다.

실험 결과

연구 질문

• RQ1 점진적 모델 업데이트는 정적 모델에 비해 변화가 많은 프로세스 환경에서 예측 정확도를 어떻게 향상시키는가?
• RQ2 다양한 사례 인코딩 전략은 점진적 예측 모델 성능에 어떤 영향을 미치는가?
• RQ3 점진적 학습은 실제 로그에서 변화하는 프로세스 변형과 새로운 행동 패턴을 효과적으로 포착할 수 있는가?
• RQ4 대규모 프로세스 모니터링 워크로드에 적용했을 때 점진적 학습 알고리즘의 안정성과 확장성은 어떠한가?

주요 결과

• 변화하는 프로세스 행동 환경에서는 점진적 학습이 정적 모델에 비해 예측 정확도를 크게 향상시킨다.
• 사례 인코딩 전략의 선택은 모델 성능에 상당한 영향을 미치며, 일부 인코딩 방식은 더 우수한 일반화 능력과 더 빠른 수렴 속도를 제공한다.
• 점진적으로 업데이트되는 모델은 시간이 지남에 따라 새로운 프로세스 변형과 행동 변화에 더 효과적으로 적응한다.
• 프로세스 로그가 변화함에 따라 모델의 예측 성능이 높은 수준을 유지하며, 실제 환경에서의 강건성을 입증한다.
• 합성 데이터셋을 통해 점진적 모델이 배치 학습 모델보다 행동 변화를 더 빨리 감지하고 적응하는 것으로 확인되었다.
• 결과는 점진적 학습이 실시간 예측 프로세스 모니터링에 실현 가능하고 효과적이라는 실증적 증거를 제공한다.