[논문 리뷰] XES Tensorflow - Process Prediction using the Tensorflow Deep-Learning Framework

Jöerg Evermann, Jana-Rebecca Rehse외 1명|arXiv (Cornell University)|2017. 05. 03.

Business Process Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 XES 이벤트 로그에서 비즈니스 프로세스 트레이스를 예측하기 위해 Tensorflow를 사용하는 유연한 딥러닝 도구인 XES Tensorflow를 제시한다. 이는 이전 연구를 확장하여 각 범주형 예측자에 대해 별도의 임베딩을 제공하고, 범주형 및 수치형 입력을 모두 지원하며, 비전문가 사용자가 가변 하이퍼파라미터와 함께 RNN 기반 모델을 훈련하고 배포할 수 있도록 GUI를 제공함으로써, TensorBoard를 통한 시각화 기능까지 제공한다.

ABSTRACT

Predicting the next activity of a running process is an important aspect of process management. Recently, artificial neural networks, so called deep-learning approaches, have been proposed to address this challenge. This demo paper describes a software application that applies the Tensorflow deep-learning framework to process prediction. The software application reads industry-standard XES files for training and presents the user with an easy-to-use graphical user interface for both training and prediction. The system provides several improvements over earlier work. This demo paper focuses on the software implementation and describes the architecture and user interface.

연구 동기 및 목표

• 딥러닝을 사용한 프로세스 예측을 위한 사용자 친화적이고 오픈소스 소프트웨어 도구를 개발하기.
• 기존의 RNN 기반 프로세스 예측 방법을 다수의 범주형 및 수치형 예측자와 목표 변수를 지원함으로써 확장하기.
• 각 속성별로 별도의 임베딩을 통해 입력 인코딩의 유연성을 높여 어휘 크기를 줄이고 일반화 성능을 향상시키기.
• 비코딩 전문가 연구자 및 실무자들이 접근하기 쉽게 하기 위해 그래픽 인터페이스와 예측 API를 제공하기.
• 설정 가능한 훈련 파rameter와 TensorBoard를 통한 모델 시각화를 통해 재현 가능한 실험 지원하기.

제안 방법

• 시스템은 고정된 단계 수로 펼쳐진 LSTM 셀을 사용하는 시퀀스-투-시퀀스 RNN 아키텍처를 사용하여 프로세스 트레이스를 모델링한다.
• 각 범주형 예측자 속성(예: 활동, 리소스)은 고유한 카테고리 ID를 할당받고 별도의 k차원 벡터 공간에 임베딩된다.
• 모든 범주형 예측자의 임베딩 벡터는 수치형 예측자와 연결되어 RNN의 입력 벡터를 형성한다.
• 모델은 손실 함수(예: 교차 엔트로피)를 최소화하기 위해 역전파와 경사 하강 최적화기를 사용하여 훈련된다.
• 예측은 순차적으로 수행된다: 모델은 현재 트레이스 접두사 기반으로 다음 이벤트의 속성을 예측하고, 더 긴 접미사에 대해 반복적으로 적용된다.
• 훈련된 모델과 임베딩 행렬은 배포를 위한 고정된, 압축된 형식으로 저장되며, 단순한 API를 통해 독립형 예측 애플리케이션에 통합된다.

실험 결과

연구 질문

• RQ1 다양한 기능을 갖춘 GUI 기반 딥러닝 도구가 비전문가 사용자에게 프로세스 예측 접근성을 향상시킬 수 있는가?
• RQ2 문자열 기반 인코딩 대비 각 범주형 속성별 별도의 임베딩을 사용할 경우 예측 성능이 향상되는가?
• RQ3 단일 RNN 프레임워크 내에서 다중 속성 예측(예: 활동과 리소스를 동시에 예측)을 효과적으로 지원할 수 있는가?
• RQ4 다양한 케이스 수준 및 이벤트 수준의 속성을 예측자로 포함할 경우 예측 정확도에 어떤 영향을 미치는가?
• RQ5 이 도구는 표준 BPI 데이터셋에서 이전의 최상위 성능 결과를 재현하거나 초월할 수 있는가?

주요 결과

• 동일한 모델 및 하이퍼파라미터 설정을 사용하여 이전 연구에서 보고한 BPI 2012 및 2013 데이터셋의 훈련 성능을 성공적으로 재현하였다.
• 각 속성별 별도의 임베딩을 사용함으로써 입력 어휘 크기가 감소하고 다양한 범주형 예측자를 더 잘 처리할 수 있었다.
• 시스템은 단일 및 다중 속성 예측을 모두 지원하며, 각 목표 변수에 대해 공유 또는 별도의 RNN 레이어를 사용할 수 있다.
• GUI를 통해 사용자는 코딩 없이도 예측자, 목표 변수, 임베딩 차원, 훈련 파ram터를 구성할 수 있다.
• TensorBoard를 통한 모델 훈련 및 시각화가 가능하며, 학습된 임베딩의 t-SNE 및 PCA 투영도 지원된다.
• 도구는 확장 가능하며, 예측 성능 향상을 위한 새로운 예측자 및 목표 변수 조합에 대한 지속적인 연구를 가능하게 한다.