[논문 리뷰] Process Discovery using Inductive Miner and Decomposition

Raji Ghawi|arXiv (Cornell University)|2016. 10. 25.

Business Process Modeling and Analysis참고 문헌 3인용 수 14

한 줄 요약

이 논문은 ProM 내에서 Inductive Miner와 Decomposition 기법을 융합한 하이브리드 접근법을 제시하여 이벤트 로그에서 비즈니스 프로세스 모델을 추출할 때 과적합과 과소적합을 균형 있게 조절하고자 한다. 이 방법은 테스트 데이터에서 96%의 트레이스 분류 정확도를 달성하였으며, BPM2016 프로세스 발굴 경연 대회에서 2위를 차지하였다.

ABSTRACT

This report presents a submission to the Process Discovery Contest. The contest is dedicated to the assessment of tools and techniques that discover business process models from event logs. The objective is to compare the efficiency of techniques to discover process models that provide a proper balance between "overfitting" and "underfitting". In the context of the Process Discovery Contest, process discovery is turned into a classification task with a training set and a test set; where a process model needs to decide whether traces are fitting or not. In this report, we first show how we use two discovery techniques, namely: Inductive Miner and Decomposition, to discover process models from the training set using ProM tool. Second, we show how we use replay results to 1) check the rediscoverability of models, and to 2) classify unseen traces (in test logs) as fitting or not. Then, we discuss the classification results of validation logs, the complexity of discovered models, and their impact on the selection of models for submission. The report ends with the pictures of the submitted process models.

연구 동기 및 목표

• 이벤트 로그에서 유도된 비즈니스 프로세스 모델에서 과적합과 과소적합을 균형 있게 조절할 수 있는 강력한 프로세스 발굴 방법을 개발하기.
• Inductive Miner와 Decomposition 기법을 융합함으로써 모델의 일반화 능력과 재발견 능력을 향상시키는 효과를 평가하기.
• 복잡도 지표를 기반으로 검증 및 테스트 로그에서의 분류 성능을 고려하여 모델 선택을 최적화하기.
• BPM2016 프로세스 발굴 경연에 고정밀도 프로세스 모델을 제출하여 트레이스 분류에서 최상위 성능 달성하기.
• 재현 기반 기법을 활용하여 모델 적합도를 검증하고, 미리 보지 않은 트레이스를 정확하게 분류하기.

제안 방법

• ProM Lite를 사용하여 훈련 이벤트 로그에서 사운드, 블록 구조화된 워크플로우 네트워크 모델을 도출하기 위해 Inductive Miner를 적용하였다.
• ProM 6.5.1을 통해 복잡한 프로세스를 더 높은 구조적 복잡도로 모델링하기 위해 분해 기반 프로세스 마이닝을 활용하였다.
• 재현 분석을 통해 재발견 가능성 검증을 수행—모든 훈련 트레이스가 발견된 모델에 의해 생성되는지 확인하였다.
• 재현 결과를 활용하여 검증 및 테스트 로그의 미리 보지 않은 트레이스를 모델 준수 여부에 따라 적합 또는 비적합으로 분류하였다.
• 확장된 카르도소 지표(ECaM), 확장된 사이클로매틱 지표(ECyM), 그리고 구조성 지표(SM)를 포함한 지표들을 사용하여 모델 복잡도를 평가하였다.
• Occam의 면도 원칙을 적용하여, 분류 성능가 비슷할 경우 더 단순한 Inductive Miner 모델을 최종 모델로 선택하였다.

실험 결과

연구 질문

• RQ1 Inductive Miner와 Decomposition을 융합한 하이브리드 모델 발굴 접근법은 프로세스 마이닝에서 과적합과 과소적합을 얼마나 효과적으로 균형 있게 조절할 수 있는가?
• RQ2 Inductive Miner와 Decomposition 기법은 이벤트 로그의 훈련 트레이스 재발견 가능성에 얼마나 기여하는가?
• RQ3 모델 복잡도 지표(예: SM, ECaM, ECyM)는 미리 보지 않은 테스트 트레이스의 분류 성능와 얼마나 상관관계가 있는가?
• RQ4 기본 모델이 없는 상황에서 복잡도 및 검증 결과를 기반으로 한 모델 선택은 분류 정확도 향상에 얼마나 기여하는가?
• RQ5 모델 단순성은 프로세스 마이닝 경연 대회에서 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• 하이브리드 모델 선택 접근법은 6월 테스트 로그에서 200개 중 192개의 트레이스를 정확하게 분류하여 96%의 정확도를 달성하였다.
• Inductive Miner 모델은 평균적으로 구조성 지표(SM)가 6,557.44로, 분해 모델의 54,856.5보다 훨씬 낮은 복잡도를 보였다.
• 로그 1, 2, 4 및 9의 경우, Inductive Miner 모델은 분해 모델보다 성능이 뛰어나거나 동일했으며, 훨씬 더 단순한 구조를 지녔다.
• 로그 8의 모델은 Inductive Miner로 도출되었으며, 20개의 음성 트레이스 중 17개를 정확하게 분류하여 비적합 행동을 거부하는 데 뛰어난 정밀도를 보였다.
• 로그 10의 모델은 분해 기법으로 도출되었으며, SM = 16,435의 높은 복잡도에도 불구하고 20개의 트레이스를 모두 정확하게 분류하여 높은 성능을 보였다.
• 최종 제출 결과는 14개 팀 중 2위를 차지하여, 하이브리드 접근법과 모델 선택 전략의 효과성을 확인하였다.