[논문 리뷰] Kernel Based Sequential Data Anomaly Detection in Business Process Event Logs

Ashish Sureka|arXiv (Cornell University)|2015. 07. 05.

Business Process Modeling and Analysis참고 문헌 5인용 수 10

한 줄 요약

이 논문은 kNN와 정규화된 최장 공통 부분수열(nLCS) 유사도를 사용하여 비정상적인 순차적 프로세스 트레이스에서 이질치를 식별하는 비지도 학습 기반 커널 이상 탐지 방법을 제안한다. 실제 사고 관리 데이터셋에서 평가된 결과, 높은 정밀도로 비정상 케이스를 효과적으로 탐지함으로써, 기존의 전통적 방법을 초월하여 커널 기반 순차 모델링이 프로세스 마이닝에서 이상 탐지에 기여함을 입증한다.

ABSTRACT

Business Process Management Systems (BPMS) log events and traces of activities during the execution of a process. Anomalies are defined as deviation or departure from the normal or common order. Anomaly detection in business process logs has several applications such as fraud detection and understanding the causes of process errors. In this paper, we present a novel approach for anomaly detection in business process logs. We model the event logs as a sequential data and apply kernel based anomaly detection techniques to identify outliers and discordant observations. Our technique is unsupervised (does not require a pre-annotated training dataset), employs kNN (k-nearest neighbor) kernel based technique and normalized longest common subsequence (LCS) similarity measure. We conduct experiments on a recent, large and real-world incident management data of an enterprise and demonstrate that our approach is effective.

연구 동기 및 목표

• 비정상적인 비즈니스 프로세스 이벤트 로그에서 이질치를 식별하기 위한 커널 기반 순차 데이터 이상 탐지 기법을 조사하며, 이 분야에 이전에 적용된 바 없는 신규 접근법을 제시한다.
• 대규모 실세계 사고 관리 데이터셋을 대상으로 심층적인 실증 분석을 수행하여 제안된 방법의 유효성을 검증한다.
• 프로세스 마이닝에서 이상 탐지를 위한 재현 가능하고 오픈소스 솔루션을 제공하여 벤치마킹과 향후 연구를 지원한다.
• 유사도 커널 선택(예: nLCS)과 kNN 파라미터(K)가 탐지 결과에 상당한 영향을 미친다는 것을 입증한다.

제안 방법

• 각 트레이스를 활동의 시퀀스로 표현하여 비즈니스 프로세스 이벤트 로그를 순차적 데이터로 모델링한다.
• 정규화된 최장 공통 부분수열(nLCS)을 유사도 측정 기준으로 사용하는 kNN 기반 커널 방법을 적용하여 이상도 점수를 계산한다.
• 시퀀스 공간 내에서 k개의 가장 가까운 이웃까지의 평균 거리를 측정하여 이상도 점수를 산출한다.
• 커널 밀도 추정과 z-점수를 사용하여 극단적인 값을 이상치로 식별한다.
• DISCO를 통해 발견된 프로세스 모델과 비교하여 탐지된 이상치를 검증하며, 희귀한 케이스 변형에 초점을 맞춘다.
• z-점수와 히스토그램 분석을 활용하여 이상도 점수의 분포를 평가하고 상위 이질치를 식별한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 학습 데이터를 요구하지 않고도 커널 기반 순차 이상 탐지 기법이 비즈니스 프로세스 이벤트 로그에서 이질치를 효과적으로 식별할 수 있는가?
• RQ2 유사도 커널의 선택(예: nLCS)이 순차적 프로세스 트레이스에서 이상 탐지의 성능과 신뢰성에 어떤 영향을 미치는가?
• RQ3 다양한 kNN 파라미터 값(K)은 실세계 프로세스 로그에서 비정상 케이스 탐지에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 DISCO와 같은 프로세스 마이닝 도구에서 식별한 희귀하거나 이질적인 케이스 변형과 일치하는가?
• RQ5 실세계 로그의 이상도 점수 분포는 가우시안 유사 패턴을 따르는가? 이를 통해 통계적 임계값 설정이 가능한가?

주요 결과

• nLCS 유사도를 사용하는 제안된 kNN 커널 기반 방법은 대규모 실세계 사고 관리 데이터셋에서 비정상 케이스를 성공적으로 탐지하였으며, 상위 이상도 점수는 최대 4.582에 이르렀다.
• K=5000일 경우 이상도 점수 분포는 가우시안 유사한 형태를 보였으며, 평균은 1.7692, 표준편차는 0.2823이었고, z-점수 기반 통계적 임계값 설정이 가능했다.
• 상위 5개 이상도 점수(4.582, 4.127, 4.106, 3.464, 3.325)는 최대 9.966까지의 z-점수를 기록하여 평균에서의 극단적인 이탈을 나타내었다.
• 이 방법은 다섯 가지 핵심 비정상 트레이스를 식별하였으며, 특히 반복적인 활동 시퀀스(예: 35;35;35;35;9;25;25;25;1;27;...)를 포함한 하나의 트레이스는 DISCO 프로세스 모델에서 희귀한 케이스 변형으로 확인되었다.
• 케이스당 이벤트 수와 케이스 변형의 분포는 우측으로 길게 퍼진 분포를 보였으며, 대부분의 케이스는 짧은 편이지만, 일부 긴 복잡한 케이스는 이상치일 가능성이 더 높다는 점을 시사했다.
• 본 연구는 커널 유사도 측정 기준(nLCS)과 kNN 파라미터(K)가 탐지 결과에 상당한 영향을 미친다는 것을 확인하였으며, 하이퍼파rameter 조정의 중요성을 강조한다.