[논문 리뷰] Entropia: A Family of Entropy-Based Conformance Checking Measures for Process Mining

Artem Polyvyanyy, Hanan Alkhammash외 7명|arXiv (Cornell University)|2020. 08. 21.

Business Process Modeling and Analysis참고 문헌 15인용 수 6

한 줄 요약

이 논문은 정보 이론에 기반한 엔트로피 기반 적합성 체크 측정법을 구현한 오픈소스 명령줄 도구인 Entropia를 소개한다. 이 도구를 통해 프로세스 마이닝에서 모델의 정밀도와 재현율을 정확하고 효율적으로 정량화할 수 있으며, 추적의 정확한, 제어된 부분적, 확률적 일치를 지원한다. 오류 허용치는 사용자 설정이 가능하며, 모델-로그 정렬을 위한 증명 가능하고 이론적으로 타당한 측정값을 제공한다.

ABSTRACT

This paper presents a command-line tool, called Entropia, that implements a family of conformance checking measures for process mining founded on the notion of entropy from information theory. The measures allow quantifying classical non-deterministic and stochastic precision and recall quality criteria for process models automatically discovered from traces executed by IT-systems and recorded in their event logs. A process model has "good" precision with respect to the log it was discovered from if it does not encode many traces that are not part of the log, and has "good" recall if it encodes most of the traces from the log. By definition, the measures possess useful properties and can often be computed quickly.

연구 동기 및 목표

• 정보 이론에 기반한 엔트로피 기반 적합성 체크 측정법에 대한 도구 지원 부족 문제를 해결하기 위해.
• 정밀도와 재현율을 정량화하기 위한 확장 가능하고 효율적이며 스케일러블한 명령줄 도구를 제공하기 위해.
• 프로세스 분석가가 이론적으로 타당한 정보 이론 기반 측정값을 사용해 모델 품질—특히 정밀도와 재현율—을 평가할 수 있도록 하기 위해.
• 제어된 부분적 일치와 같은 설정 가능한 일치 전략을 통해 비확률적 및 확률적 적합성 체크 기법을 모두 지원하기 위해.
• LoLA를 통한 입력 모델의 유한성 검증을 통합하고, 입력 모델의 정확성을 보장함으로써 상태 폭발을 방지하기 위해.

제안 방법

• 정보 검색에서 유래한 엔트로피 기반 측정법을 활용하여, 정밀도는 공유 행동 대 상관 있는 행동의 비율로, 재현율은 공유 행동 대 검색된 행동의 비율로 정량화한다.
• 이벤트 로그에서의 추적 집합(관련 행동으로 간주됨)과 프로세스 모델에서의 추적 집합(검색된 행동으로 간주됨)의 엔트로피를 사용하여 정밀도와 재현율을 계산한다.
• 정확 일치(완전한 추적 정렬 기반), 제어된 부분 일치(설정 가능한 스킵 수 포함), 확률적 일치(확률 분포 사용)의 세 가지 주요 적합성 체크 기법을 구현한다.
• 엔트로피 기반의 관련성 측정법을 적용하여 모델과 로그 간의 정보 이론적 유사도를 평가하며, 이 값은 비트 단위로 표현된다.
• 입력 프로세스 모델의 유한성 검증을 자동으로 수행하기 위해 LoLA 2.0을 통합하여 정확성 확보 및 상태 폭발 방지.
• 일치 전략 설정(예: -srel=1은 로그 추적에서 최대 1개의 스킵 허용), 유한성 검사 활성화(-b), 검증 건너뛰기(-t) 등의 옵션을 제공하는 CLI 인터페이스를 노출.

실험 결과

연구 질문

• RQ1 정보 이론에서 유래한 엔트로피 기반 측정법을 어떻게 효과적으로 프로세스 마이닝의 적합성 체크에 적용하여 신뢰할 수 있고 해석 가능한 품질 측정값을 확보할 수 있는가?
• RQ2 실제 프로세스 마이닝 시나리오에서 정확 일치, 제어된 부분 일치, 확률적 적합성 체크 간의 성능 트레이드오프는 어떠한가?
• RQ3 설정 가능한 일치 전략(예: 제어된 스킵 허용)을 통해 대규모 프로세스 모델에서 정밀도, 재현율, 계산 효율성을 균형 있게 조율할 수 있는가?
• RQ4 엔트로피 기반 측정법을 어떻게 통합된 도구 기반 프레임워크에서 비확률적 및 확률적 적합성 체크를 모두 지원하도록 확장할 수 있는가?
• RQ5 확장성과 상태 폭발 측면에서 엔트로피 기반 적합성 체크의 실용적 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 페트리 넷과 이벤트 로그 간의 엔트로피 기반 정확 일치 정밀도는 0.776로 계산되어 모델과 관측 행동 간의 강한 일치를 나타낸다.
• 모델에서 최대 2개, 로그에서 최대 1개의 스킵을 허용하는 제어된 부분 일치는 정밀도 0.833을 기록하여 미세한 추적 변형에 대한 강건성을 향상시켰다.
• 모델의 로그에 대한 엔트로피 관련성은 11.368비트로 측정되어 모델과 관측 행동 간의 정보 이론적 유사도를 정량화했다.
• 엔트로피 관련성 계산은 로그 크기(추적 수 × 평균 추적 길이)에 비례하여 선형적으로 증가하므로 대규모 로그의 효율적 처리가 가능하다.
• 정확 일치 적합성 체크는 실제 데이터셋에서 몇 초 내로 실행되며, 제어된 부분 일치는 높은 상태 폭발 위험이 있어 소규모 입력에 적합하다.
• 반복 수렴을 통한 확률적 적합성 체크는 많은 경우에 매우 빠르지만, 복잡한 실제 데이터셋에서는 느릴 수 있어 최적화가 필요함을 시사한다.