[논문 리뷰] Detection of statistically significant differences between process variants through declarative rules

Alessio Cecconi, Adriano Augusto외 1명|arXiv (Cornell University)|2021. 01. 01.

Business Process Modeling and Analysis참고 문헌 21인용 수 7

한 줄 요약

이 논문은 자연어로 표현된 선언적 규칙를 사용하여 프로세스 변형 간에 통계적으로 유의미한 차이를 탐지하는 Declarative Rules Variant Analysis (DRVA)를 제안한다. Declare 제약 조건과 통계적 유의성 검증을 활용함으로써 DRVA는 전체 프로세스 실행 동안 고수준의 행동적 차이를 식별하며, 실행 시간과 해석 가능성 면에서 현재 최고 수준의 방법들을 능가하면서도 통계적 엄밀성을 확보한다.

ABSTRACT

Services and products are often offered via the execution of processes that vary according to the context, requirements, or customisation needs. The analysis of such process variants can highlight differences in the service outcome or quality, leading to process adjustments and improvement. Research in the area of process mining has provided several methods for process variants analysis. However, very few of those account for a statistical significance analysis of their output. Moreover, those techniques detect differences at the level of process traces, single activities, or performance. In this paper, we aim at describing the distinctive behavioural characteristics between variants expressed in the form of declarative process rules. The contribution to the research area is two-pronged: the use of declarative rules for the explanation of the process variants and the statistical significance analysis of the outcome. We assess the proposed method by comparing its results to the most recent process variants analysis methods. Our results demonstrate not only that declarative rules reveal differences at an unprecedented level of expressiveness, but also that our method outperforms the state of the art in terms of execution time.

연구 동기 및 목표

• 기존 프로세스 변형 분석 기법에서 통계적 유의성 평가의 부재를 해결하기 위해.
• 원시적인 프로세스 그래프나 트레이스 수준의 프로파일이 아닌 선언적 규칙으로 차이를 표현함으로써 해석 가능성 향상.
• 자연어 규칙를 사용하여 스케일러블하고 고수준의 행동적 비교를 가능하게 하기 위해.
• 검출된 차이가 랜덤 변동 때문이 아니라는 것을 보장하기 위해 통계적 유의성 검증을 적용하기 위해.
• 실행 효율성과 설명 능력 면에서 현재 최고 수준의 방법들을 능가하기 위해.

제안 방법

• 해당 방법은 Response, Precedence, AlternateResponse와 같은 Declare 제약 조건을 행동 규칙의 형식적 구성 요소로 사용한다.
• 다른 변형에서의 활동 빈도 및 동시 발생 패턴을 비교함으로써 변형별로 고유한 규칙를 유추한다.
• 관측된 규칙 차이가 두 변형 간에 차이가 없음을 전제로 할 때 불가능한 정도로 낮은 확률로 발생할 경우를 평가하기 위해 순열 기반 검증을 사용하여 통계적 유의성 수준을 평가한다.
• 자연어로 표현된 인간 독해에 적합한, 동시에 독특하고 통계적으로 유의미한 선언적 규칙의 순위 목록을 출력한다.
• 지역적 이벤트 쌍이 아닌 전체 프로세스 실행을 대상으로 하므로, 글로벌하고 맥락 인식 가능한 규칙 유추가 가능하다.
• 어느 한 변형에서는 성립하지만 다른 변형에서는 성립하지 않는 경우를 독특한 규칙으로 간주하며, 재표본 추출을 통한 p-값 추정을 통해 그 유의성을 검증한다.

실험 결과

연구 질문

• RQ1 선언적 규칙는 인간이 이해할 수 있는 방식으로 프로세스 변형 간의 고수준 행동적 차이를 효과적으로 표현할 수 있는가?
• RQ2 통계적 유의성 검증을 포함함으로써, 비유의성 인식 방법에 비해 검출된 차이의 신뢰도가 향상되는가?
• RQ3 실행 시간과 확장성 측면에서 제안된 방법이 현재 최고 수준의 기법들과 비교해 어떻게 성능을 내는가?
• RQ4 BPIC15 로그와 같이 트레이스 다양성이 높은 유연하고 복잡한 프로세스 변형을 다룰 수 있는가?
• RQ5 그래프 기반 또는 트레이스 수준의 분석에 비해 선언적 규칙은 얼마나 더 표현력 있고 의미 있는 구분을 제공하는가?

주요 결과

• DRVA는 BPIC13, BPIC15, SEPSIS 로그에서 각각 4.9초, 326.7초, 4.6초의 실행 시간을 기록하여, 모든 케이스에서 MFVA 및 PESVA를 능가했다.
• BPIC15 로그에서 PESVA는 3시간 후 타임아웃이 발생했지만, DRVA는 326.7초 만에 완료되어 훨씬 뛰어난 확장성을 보였다.
• MFVA 및 PESVA가 복잡한 그래프나 모호한 이벤트 기반 문장으로 표현하는 것에 비해, DRVA는 선언적 규칙로 표현함으로써 더 해석 가능한 결과를 도출했다.
• RTFMP 로그에서 DRVA는 Variant B에서 '16_LGSD_010이 발생하면 01_HOOFD_490_2가 반드시 발생해야 한다'와 같은 10개의 독특한 규칙을 통계적 신뢰도와 함께 식별했다.
• SEPSIS 사례에서 DRVA는 Variant A에서 '01_HOOFD_492_2는 최대 한 번만 발생할 수 있다'와 같은 변형 고유의 규칙을 정확히 포착했으며, PESVA는 이를 명확하게 표현하지 못했다.
• DRVA의 글로벌이고 규칙 기반의 추론 방식은 국소적 이벤트 쌍이나 주요 이벤트 구조에 의존하는 방법들보다 더 일관되고 의미 있는 구분을 이끌어냈다.