[논문 리뷰] Time and Activity Sequence Prediction of Business Process Instances

Mirko Polato, Alessandro Sperduti외 2명|arXiv (Cornell University)|2016. 02. 24.

Business Process Modeling and Analysis참고 문헌 18인용 수 12

한 줄 요약

이 논문은 제어 흐름과 추가 이벤트 로그 속성 정보를 활용하여 실행 중인 비즈니스 프로세스 인스턴스의 잔여 시간과 향후 활동 시퀀스를 예측하기 위한 세 가지 기계학습 기반 방법을 제안한다. 정적 프로세스를 위한 새로운 방법(DATS)이 최신 기술을 초월하며, 변화하는 워크플로우에 잘 일반화되는 새로운 비정적 프로세스 방법(SVR+TS)을 도입하여 실제 사례 연구에서 높은 예측 정확도를 달성한다.

ABSTRACT

The ability to know in advance the trend of running process instances, with respect to different features, such as the expected completion time, would allow business managers to timely counteract to undesired situations, in order to prevent losses. Therefore, the ability to accurately predict future features of running business process instances would be a very helpful aid when managing processes, especially under service level agreement constraints. However, making such accurate forecasts is not easy: many factors may influence the predicted features. Many approaches have been proposed to cope with this problem but all of them assume that the underling process is stationary. However, in real cases this assumption is not always true. In this work we present new methods for predicting the remaining time of running cases. In particular we propose a method, assuming process stationarity, which outperforms the state-of-the-art and two other methods which are able to make predictions even with non-stationary processes. We also describe an approach able to predict the full sequence of activities that a running case is going to take. All these methods are extensively evaluated on two real case studies.

연구 동기 및 목표

• 실행 중인 비즈니스 프로세스 인스턴스의 잔여 시간과 향후 활동 시퀀스 예측 정확도를 향상시키는 것.
• 실제 동적 환경에서 자주 실패하는 프로세스의 정적 성질을 가정하는 기존 방법의 한계를 해결하는 것.
• 특히 드리프트 또는 계절적 변화가 발생할 경우에도 새로운 또는 변화하는 프로세스 변형에 잘 일반화되는 모델을 개발하는 것.
• 제어 흐름 정보와 추가 이벤트 로그 속성(예: 타임스탬프, 자원 데이터)을 통합하여 더 풍부한 예측을 수행하는 것.
• 실제 사례 연구를 통해 제안된 방법의 성능 및 강인성을 검증하는 것.

제안 방법

• 프로세스 정적 성질 하에서 잔여 시간 예측을 위해 유사도 기반 전이 시스템과 나이브 베이즈 분류기를 결합한 DATS(Dynamic Activity Transition System)를 제안한다.
• 비정적 프로세스에서 새로운 프로세스 변형으로의 일반화를 위해 유사도 기반 전이 시스템을 사용하는 서포트 벡터 회귀(SVR) 기반의 SVR+TS 방법을 도입한다.
• 프로세스 트레이스를 모델링하기 위해 세트 추상화와 프리픽스 유사도를 활용하여 완료되지 않은 프로세스 인스턴스와 역사적 프로세스 인스턴스 간의 강건한 비교를 가능하게 한다.
• 예측된 향후 활동 시퀀스의 정확도를 평가하기 위해 데마우-레벤슈타인 거리와 프리픽스 유사도 메트릭을 사용한다.
• 비모수적 회귀 및 기계학습 모델을 역사적 이벤트 로그 기반으로 학습시켜 잔여 시간을 추정하고 다음 활동을 예측한다.
• 활동, 타임스탬프, 자원 정보를 포함한 이벤트 로그 데이터를 활용하여 예측 모델을 풍부하게 한다.

실험 결과

연구 질문

• RQ1 프로세스 정적 성질 하에서 최신 기술 대비 기계학습 기반 방법이 잔여 시간 예측 정확도를 향상시킬 수 있는가?
• RQ2 변화하거나 새로운 행동 패턴을 보이는 비정적 프로세스에 대해 방법이 일반화될 수 있는가?
• RQ3 제어 흐름과 추가 이벤트 로그 속성의 통합이 예측 성능 향상에 얼마나 효과적인가?
• RQ4 예측된 향후 활동 시퀀스가 완료되지 않은 프로세스 인스턴스에서 실제 시퀀스와 얼마나 유사한가?
• RQ5 유사도 기반 전이 시스템이 동적 또는 노이즈가 많은 프로세스 환경에서 모델의 강인성을 어떻게 향상시키는가?

주요 결과

• DATS 방법은 프로세스 정적 성질 가정 하에서 기존 최신 기술 대비 잔여 시간 예측 정확도에서 뛰어난 성능을 보였다.
• SVR+TS 방법은 비정적 상황에서 뛰어난 성능을 달성하여 기존 전이 시스템 기반 모델이 실패하는 새로운 프로세스 변형으로도 잘 일반화되었다.
• FPP(Future Prediction Path) 방법은 다음 활동을 94%의 정확도로 예측했으며, 평균 데마우-레벤슈타인 유사도가 0.81로 무작위 예측(0.36)보다 뚜렷이 뛰어났다.
• 제안된 방법은 향후 활동 시퀀스에 대해 평균 프리픽스 유사도 0.63을 달성했으며, 이는 무작위 예측의 0.09보다 높은 수준으로 강력한 예측 능력을 보여준다.
• 예측 정확도는 장기적인 향후 시퀀스로 갈수록 누적된 불확실성으로 인해 감소하지만, 모든 시퀀스 길이에서 제안된 방법은 무작위 기준선보다 뚜렷이 뛰어난 성능 유지를 보였다.
• 세트 추상화와 유사도 기반 전이 시스템의 사용은 특히 동적 환경에서 노이즈와 프로세스 드리프트에 대한 강인성을 향상시켰다.