[논문 리뷰] Anti-Alignments -- Measuring The Precision of Process Models and Event Logs

Thomas Chatain, Mathilde Boltenhagen외 1명|arXiv (Cornell University)|2019. 11. 28.

Business Process Modeling and Analysis참고 문헌 38인용 수 12

한 줄 요약

이 논문은 관측된 행동에서 가장 크게 이탈하는 모델 실행을 식별함으로써 프로세스 모델과 이벤트 로그의 정밀도를 측정하는 새로운 방법인 반-정렬(anti-alignments)을 소개한다. 반-정렬 계산을 부울 만족 가능성 문제(Boolean satisfiability problem)로 재구성함으로써, 최근 이론적 기준에서 제안된 대부분의 공리(axioms)를 만족하는 정밀도 메트릭을 제안하며, 기존 방법이 관측된 행동에만 국한되는 데 비해 더 포괄적인 평가를 가능하게 한다.

ABSTRACT

Processes are a crucial artefact in organizations, since they coordinate the execution of activities so that products and services are provided. The use of models to analyse the underlying processes is a well-known practice. However, due to the complexity and continuous evolution of their processes, organizations need an effective way of analysing the relation between processes and models. Conformance checking techniques asses the suitability of a process model in representing an underlying process, observed through a collection of real executions. One important metric in conformance checking is to asses the precision of the model with respect to the observed executions, i.e., characterize the ability of the model to produce behavior unrelated to the one observed. In this paper we present the notion of anti-alignment as a concept to help unveiling runs in the model that may deviate significantly from the observed behavior. Using anti-alignments, a new metric for precision is proposed. In contrast to existing metrics, anti-alignment based precision metrics satisfy most of the required axioms highlighted in a recent publication. Moreover, a complexity analysis of the problem of computing anti-alignments is provided, which sheds light into the practicability of using anti-alignment to estimate precision. Experiments are provided that witness the validity of the concepts introduced in this paper.

연구 동기 및 목표

• 기존 정밀도 메트릭이 로그에 존재하지는 않지만 잠재적으로 문제를 일으킬 수 있는 모델 행동을 탐지하지 못하는 한계를 해결하기 위해.
• 관측된 트레이스에서 크게 이탈하는 모델 실행을 식별함으로써 과도한 일반화를 드러내기 위해 반-정렬을 메커니즘으로 도입하기 위해.
• 최근 문헌에서 제안된 공리의 대부분을 만족하는 반-정렬 기반 정밀도 메트릭을 개발하기 위해.
• 부울 만족 가능성(SAT)을 이용한 효율적이고 최적의 반-정렬 계산 방법을 제공하여 실용적 적용 가능성을 확보하기 위해.
• 실생활 및 대규모 프로세스 모델에서 제안된 기법을 경험적으로 검증하여 그 효과성과 확장성(스케일러빌리티)을 입증하기 위해.

제안 방법

• 가장 이격된 모델 실행을 찾는 문제를 부울 만족 가능성(SAT) 문제로 공식화함으로써 최적의 해를 도출할 수 있도록 한다.
• 편차 측정을 위해 허밍(Hamming) 거리와 레벤슈타인(Levenshtein) 거리를 모두 지원하며, 후자는 트레이스 비교에서 삽입, 삭제, 치환을 允허한다.
• 더 큰 크기와 더 복잡한 프로세스 모델에서도 처리할 수 있도록 확장성 향상을 위한 새로운 구현을 개발하였다.
• 지정된 개수의 편차를 고려하거나 지정된 길이 이내에서 가장 크게 이격된 반-정렬을 계산하는 방식으로 일반화된 접근을 제공한다.
• 반-정렬의 존재 여부와 편차 수준에 기반하여 정밀도 메트릭을 유도하며, 높은 편차는 낮은 정밀도를 의미한다.
• 사전에 길이를 가정하지 않는 방식으로 개선되어 다양한 로그와 모델에 대한 유연성과 적용 가능성을 향상시켰다.

실험 결과

연구 질문

• RQ1 반-정렬은 관측된 이벤트 로그에서 크게 이탈하는 모델 행동을 효과적으로 식별할 수 있는가? 이를 통해 전통적인 적합성 체크에서 놓치는 정밀도 문제를 드러낼 수 있는가?
• RQ2 최근 문헌에서 제시한 공리에 따라 신뢰할 수 있는 정밀도 메트릭을 위해 요구되는 조건을 반-정렬 기반 정밀도 메트릭이 충족하는가?
• RQ3 반-정렬 계산의 SAT 기반 인코딩 방식은 허밍 거리와 레벤슈타인 거리 모두에 대해 이론적 최적성과 함께 계산 효율성을 유지할 수 있는가?
• RQ4 기존 정밀도 메트릭과 비교할 때 반-정렬 접근 방식은 프로세스 모델의 과도한 일반화를 탐지하는 데 얼마나 효과적인가?
• RQ5 반-정렬을 사용하여 미리 보지 못한 의미 있는 행동을 식별하고 검증함으로써, 불완전한 로그를 반복적으로 보완할 수 있는가?

주요 결과

• 최근 기준 연구에서 정의한 공리의 대부분을 만족하는 반-정렬 기반 정밀도 메트릭을 제안함으로써, 이전 접근 방식보다 더 신뢰할 수 있는 메트릭을 확보하였다.
• 반-정렬 계산의 SAT 기반 인코딩 방식은 정렬 계산과 동일한 복잡도 클래스를 유지하므로 이론적으로 실현 가능하다.
• 새로운 구현은 더 큰 크기의 실생활 프로세스 모델 처리를 가능하게 하여 이전 히ュ리스틱 접근 방식을 뛰어넘는 실용적 확장성을 입증하였다.
• 실험 결과, 반-정렬이 로그에 존재하지도 않으며 관측된 패턴에서 크게 이탈하는 모델 행동까지도 성공적으로 탐지함으로써 과도한 일반화 문제를 드러내었다.
• 반-정렬은 상호작용적으로 불완전한 로그를 보완하는 데도 사용될 수 있다: 유효한 반-정렬을 로그에 추가함으로써 로그의 대표성을 향상시킬 수 있다.
• 이 방법은 단일 모델 분석을 넘어서, 한 모델에 존재하지만 다른 모델에는 없는 행동을 식별함으로써 두 프로세스 모델 간 비교를 가능하게 한다.