[논문 리뷰] All That Glitters Is Not Gold: Towards Process Discovery Techniques with Guarantees

Jan Martijn E. M. van der Werf, Artem Polyvyanyy외 3명|arXiv (Cornell University)|2020. 12. 23.

Business Process Modeling and Analysis참고 문헌 28인용 수 8

한 줄 요약

이 논문은 고품질 이벤트 로그에서 더 나은 모델을 생성하도록 보장하기 위해 프로세스 디스커버리 알고리즘의 틀을 제안한다. 로그 품질을 평가하기 위한 통계적 측정치와 모델 품질을 평가하기 위한 적합성 검사 기법을 도입한다. 기존 알고리즘이 이 직관적인 관계를 보장하지 못함을 밝히며, 입력-출력 품질 보장을 확보하기 위해 형식적 성질을 갖춘 네 단계의 설계 프로세스를 제안함으로써 프로세스 디스커버리 기술의 성숙도를 향상시킨다.

ABSTRACT

The aim of a process discovery algorithm is to construct from event data a process model that describes the underlying, real-world process well. Intuitively, the better the quality of the event data, the better the quality of the model that is discovered. However, existing process discovery algorithms do not guarantee this relationship. We demonstrate this by using a range of quality measures for both event data and discovered process models. This paper is a call to the community of IS engineers to complement their process discovery algorithms with properties that relate qualities of their inputs to those of their outputs. To this end, we distinguish four incremental stages for the development of such algorithms, along with concrete guidelines for the formulation of relevant properties and experimental validation. We will also use these stages to reflect on the state of the art, which shows the need to move forward in our thinking about algorithmic process discovery.

연구 동기 및 목표

• 기존 프로세스 디스커버리 알고리즘에서 입력 이벤트 로그 품질과 출력 프로세스 모델 품질 간의 공식적 보장을 부족하게 다루는 문제를 해결하기 위해.
• 진정한 프로세스가 있는지 여부에 관계없이 표준화되고 통계적으로 근거가 있는 이벤트 로그 품질 평가 방법을 제안하기 위해.
• 알고리즘적 성질을 정의함으로써 입력 로그 품질과 출력 모델 품질 간의 형식적 관계를 확립하기 위해.
• 검증 가능한 품질 보장을 갖춘 프로세스 디스커버리 알고리즘 설계를 위한 네 단계의 프레임워크를 도입하기 위해.
• 프로세스 마이닝 커뮤니티가 제한된 데이터셋에서의 벤치마킹을 넘어서 공식적이고 통계적인 검증을 도입하도록 장려하기 위해.

제안 방법

• 진정한 프로세스가 알려져 있지 않은 경우, 대표적인 샘플을 이용해 로그 특성을 유추함으로써 이벤트 로그 품질을 추정하기 위한 통계적 샘플링 기법을 제안한다.
• 표준적인 적합성 검사 측정치인 정밀도, 재현율, 적합도를 사용해 발견된 프로세스 모델의 품질을 평가하는 지표로 활용한다.
• 입력 로그 품질과 출력 모델 품질 간의 관계를 정의하는 형식적 프레임워크를 도입하며, 단조성 또는 통계적 연관성과 같은 성질을 포함한다.
• 품질 보장과 검증 요구사항이 점차 강화되는 네 단계의 점진적 설계 단계를 제안한다.
• 기존 알고리즘이 고품질 로그에서 저품질 로그보다 더 나은 모델을 생성할 수 있음을 실증적으로 입증함으로써, 직관적인 기대를 위반함을 보여준다.
• 기존의 적합성 측정 지표 성질(예: [28, 29, 24]에서 제안된 바)을 활용해 모델 품질 평가의 일관성과 정확성을 확보한다.

실험 결과

연구 질문

• RQ1 기존 프로세스 디스커버리 알고리즘이 고품질 입력 로그에서 더 나은 출력 모델을 도출해야 한다는 직관적 기대를 위반할 수 있는가?
• RQ2 진정한 프로세스가 알려져 있지 않은 경우, 객관적으로 이벤트 로그 품질을 평가하는 데 사용할 수 있는 통계적 측정치는 무엇인가?
• RQ3 더 고품질의 입력 로그가 더 고품질의 출력 모델을 이끌도록 보장하기 위해 어떤 형식적 성질을 정의할 수 있는가?
• RQ4 검증 가능한 품질 보장을 갖춘 프로세스 디스커버리 알고리즘 개발을 안내할 수 있는 체계적 프레임워크는 무엇인가?
• RQ5 모델 품질 향상이 목적이 아니라, 알고리즘 평가를 위한 입력 로그 품질 평가를 위해 샘플링 기법을 어떻게 활용할 수 있는가?

주요 결과

• 실증적 증거에 따르면, 기존 프로세스 디스커버리 알고리즘이 고품질 로그에서 저품질 로그보다 더 나은 모델을 생성할 수 있으며, 이는 기대되는 입력-출력 품질 관계를 위반한다.
• 제안된 통계적 샘플링 접근법은 진정한 프로세스에 접근할 수 없더라도 대표 샘플과 추론 통계를 활용해 이벤트 로그 품질을 신뢰성 있게 추정할 수 있다.
• 정밀도, 재현율, 적합도와 같은 적합성 검사 측정치는 기존에 알려진 바람직한 성질을 충족하며, 형식적 프레임워크 내에서 모델 품질 평가에 적합하다.
• 알고리즘 설계를 위한 네 단계의 프레임워크는 품질 보장을 점진적으로 강화하며, 기본적인 정확성에서부터 입력-출력 품질 의존성의 형식적 통계적 검증에 이르기까지 단계적으로 적용된다.
• 현재의 프로세스 마이닝 벤치마크는 알고리즘이 고품질 로그에서 더 나은 모델을 생성하는지 검증하지 않기 때문에 부족하며, 평가 방법론에서 심각한 격차를 드러낸다.
• 형식적 보장, 예를 들어 로그 품질과 모델 품질 간의 단조성 또는 통계적 연관성은 다음 세대의 프로세스 디스커버리 알고리즘을 위해 필수적임을 이 논문이 입증한다.