[논문 리뷰] Conformance checking: A state-of-the-art literature review

Sebastian Dunzer, Matthias Stierle외 2명|arXiv (Cornell University)|2020. 07. 21.

Business Process Modeling and AnalysisBusiness, Management and Accounting참고 문헌 52인용 수 19

한 줄 요약

이 논문은 프로세스 마이닝에서 37개의 적합성 체크 기법에 대한 체계적 문헌 고찰을 제시하며, 모델링 언어, 시각적 관점, 알고리즘 유형, 품질 측정 기준의 네 가지 차원에 따라 분류한다. 이는 선언적 모델링 언어에 대한 적합성 체크 연구의 심각한 격차와 제어 흐름 분석에 대한 강한 집중을 드러내며, 시간, 역할, 비즈니스 규칙 등을 포함한 다중 관점 기법 개발을 향한 향후 연구의 필요성을 제기한다.

ABSTRACT

Conformance checking is a set of process mining functions that compare process instances with a given process model. It identifies deviations between the process instances' actual behaviour ("as-is") and its modelled behaviour ("to-be"). Especially in the context of analyzing compliance in organizations, it is currently gaining momentum -- e.g. for auditors. Researchers have proposed a variety of conformance checking techniques that are geared towards certain process model notations or specific applications such as process model evaluation. This article reviews a set of conformance checking techniques described in 37 scholarly publications. It classifies the techniques along the dimensions "modelling language", "algorithm type", "quality metric", and "perspective" using a concept matrix so that the techniques can be better accessed by practitioners and researchers. The matrix highlights the dimensions where extant research concentrates and where blind spots exist. For instance, process miners use declarative process modelling languages often, but applications in conformance checking are rare. Likewise, process mining can investigate process roles or process metrics such as duration, but conformance checking techniques narrow on analyzing control-flow. Future research may construct techniques that support these neglected approaches to conformance checking.

연구 동기 및 목표

• 정보 시스템 분야에서 적합성 체크 분야의 현재 연구 흐름과 맹점들을 규명하기 위해.
• 모델링 언어, 관점, 알고리즘 유형, 품질 측정 기준 등의 핵심 차원을 기반으로 기존의 적합성 체크 기법을 분류하기 위해.
• 선언적 모델 및 제어 흐름 이외의 관점(예: 시간, 역할, 지속 기간)과 같은 연구가 부족한 분야를 부각하기 위해.
• 트레이스 정렬 최적화, 실생활 검증, 규칙 기반 시스템과의 통합 등에서의 연구 기회를 식별함으로써 향후 연구를 이끌기 위해.
• 구조화된 개념 매트릭스를 제공하여 연구자와 실무자가 적합한 적합성 체크 기법을 선택하는 데 지원하기 위해.

제안 방법

• Scopus를 주요 데이터베이스로 사용하여 사전 정의된 포함 및 배제 기준을 적용한 체계적 문헌 고찰을 수행하였다.
• 프로세스 모델과 이벤트 로그를 사용하여 독립적인 적합성 체크 기법을 제안한 37篇의 학술 논문을 선정하였다.
• 각 기법을 네 가지 차원에 따라 분류하였다: (1) 모델링 언어(예: BPMN, 피트리 네트워크, Declare), (2) 관점(제어 흐름 대비 다중 관점), (3) 알고리즘 유형(예: 로그 재생, 트레이스 정렬, 규칙 기반, 인공 부정 이벤트), (4) 품질 측정 기준(적합성, 정밀도, 단순성, 일반화).
• 네 가지 차원에 걸친 기법의 분포를 시각화하고 연구 집중도 및 맹점들을 식별하기 위해 개념 매트릭스를 구축하였다.
• Scopus를 활용한 문헌정보학적 데이터 평가를 통해 인용 영향도를 평가하고 영향력 있는 논문들이 포함되었는지 확인하였다.
• 프로세스 마이닝에서의 적합성 체크에 전적으로 집중하지 않은 논문, 특히 프로세스 모델 정렬 없이 준수 체크나 사기 탐지에 초점을 맞춘 논문은 배제하였다.

실험 결과

연구 질문

• RQ1 정보 시스템 분야에서 적합성 체크 연구의 주요 흐름은 무엇인가?
• RQ2 기존의 적합성 체크 기법이 가장 많이 지원하는 프로세스 모델링 언어는 무엇인가?
• RQ3 현재 기법들이 제어 흐름 이외의 관점, 예를 들어 시간, 역할, 자원 사용 등을 얼마나 고려하고 있는가?
• RQ4 가장 퍼진 알고리즘 유형은 무엇이며, 그 구현 및 최적화 방식에서의 차이는 무엇인가?
• RQ5 적합성 평가에 사용되는 품질 측정 기준은 무엇이며, 정밀도, 단순성, 일반화 측정에서의 격차는 없는가?

주요 결과

• 선언적 프로세스 모델링 언어인 Declare에 대한 적합성 체크 기법이 현저히 부족한데, 이는 프로세스 마이닝에서의 사용 증가와는 상반된다.
• 대부분의 적합성 체크 기법이 제어 흐름 분석에만 집중하며, 시간, 역할, 자원 할당 등을 포함한 다중 관점 분석에 대한 지원은 제한적이다.
• 트레이스 정렬이 가장 널리 사용되는 알고리즘 유형이며, 이어 로그 재생 기법이 뒤를 이룬다. 규칙 기반 및 인공 부정 이벤트 접근법은 '기타'로 분류된다.
• 적합성은 가장 자주 사용되는 품질 측정 기준이지만, 정밀도, 단순성, 일반화는 현재 연구에서 미흡하게 다뤄지고 있다.
• 실생활 이벤트 로그를 사용한 적합성 체크 기법의 검증을 수행한 연구는 소수에 불과하여, 실증적 평가 및 실용성 평가의 격차가 존재한다.
• 출판 수가 증가하고 있음에도 불구하고, 적합성 체크가 실 조직 환경에 적용된 연구는 소수에 불과하며, 특히 헬스케어 외 분야에서는 스케일러빌리티와 사용성에 대한 실용적 통찰이 제한되어 있다.