[논문 리뷰] Discovering general partial orders in event streams

Avinash Achar, Srivatsan Laxman외 2명|ArXiv.org|2009. 02. 07.

Data Mining Algorithms and Applications참고 문헌 17인용 수 3

한 줄 요약

이 논문은 유한 상태 오토마타를 사용하여 이벤트 스트림에서 일반 부분 순서를 가진 빈도 높은 에피소드를 효율적으로 탐색하는 알고리즘을 제시한다. 이는 단일 이벤트 스트림에서 비중복적인 일대일 에피소드 발생을 추적하기 위해 사용된다. 이 논문은 조합 폭발을 일으키는 무의미한 패턴을 걸러내기 위해 새로운 흥미로움 측정 기준인 이중 방향 증거를 도입한다. 다양한 노이즈 수준과 패턴 복잡도를 가진 합성 데이터 스트림을 대상으로 한 광범위한 시뮬레이션을 통해 확장성과 효과성을 입증한다.

ABSTRACT

Frequent episode discovery is a popular framework for pattern discovery in event streams. An episode is a partially ordered set of nodes with each node associated with an event type. Efficient (and separate) algorithms exist for episode discovery when the associated partial order is total (serial episode) and trivial (parallel episode). In this paper, we propose efficient algorithms for discovering frequent episodes with general partial orders. These algorithms can be easily specialized to discover serial or parallel episodes. Also, the algorithms are flexible enough to be specialized for mining in the space of certain interesting subclasses of partial orders. We point out that there is an inherent combinatorial explosion in frequent partial order mining and most importantly, frequency alone is not a sufficient measure of interestingness. We propose a new interestingness measure for general partial order episodes and a discovery method based on this measure, for filtering out uninteresting partial orders. Simulations demonstrate the effectiveness of our algorithms.

연구 동기 및 목표

• 이벤트 스트림에서 일반 부분 순서를 가진 빈도 높은 에피소드를 효율적으로 탐색할 수 있는 알고리즘이 부족한 문제를 해결하기 위해.
• 빈도 수치만으로는 흥미로움을 측정할 경우 발생하는 조합 폭발 문제를 해결하기 위해.
• 일련의 순서, 병렬 또는 사용자 정의 부분 순서 서브클래스를 탐색할 수 있도록 유연한 프레임워크를 개발하기 위해.
• 이벤트 쌍 간의 상대 빈도 패턴을 캡처하는 새로운 흥미로움 측정 기준인 이중 방향 증거를 도입하고 검증하기 위해.
• 제안된 방법의 확장성과 효과성을 다양한 데이터 길이, 노이즈 수준, 임bedded 패턴 수에 걸쳐 입증하기 위해.

제안 방법

• 단일 이벤트 스트림에서 일대일 에피소드의 비중복 발생을 효율적으로 추적하기 위해 유한 상태 오토마타(FSA)를 사용한다.
• 최대 부분에피소드 성질을 가진 부분 순서 서브클래스에 특화된 후보 생성 전략을 적용한다. 이는 일련의 순서 및 병렬 에피소드를 포함한다.
• 이벤트 쌍의 정방향 및 역방향 동시 발생 빈도 간의 엔트로피 유사 거리인 이중 방향 증거라는 새로운 흥미로움 측정 기준을 도입한다.
• 유효한 에피소드 발생의 시간 범위를 제한하기 위해 만료 시간 제약 조건을 적용하여 시간적 관련성을 확보한다.
• 두 개의 임계값 기반 탐색 프레임워크를 설계한다: 하나는 최소 빈도를, 다른 하나는 최소 이중 방향 증거를 기준으로 하여 무의미한 패턴을 걸러낸다.
• 단일 에피소드 내에서 이벤트 유형의 반복을 방지하는 일대일 에피소드 제약 조건을 활용하여 알고리즘의 확장성을 최적화한다.

실험 결과

연구 질문

• RQ1 기존 알고리즘이 없는 상황에서, 단일 장기 이벤트 스트림에서 일반 부분 순서를 가진 빈도 높은 에피소드를 어떻게 효율적으로 탐색할 수 있는가?
• RQ2 빈도 높은 부분 순서 탐색에서 조합 폭발이 발생하는 원인은 무엇이며, 빈도 임계값 외에 이를 어떻게 완화할 수 있는가?
• RQ3 구조적 및 시간적 다양성을 반영할 수 있는 새로운 흥미로움 측정 기준을 정의할 수 있는가? 특히 이벤트 순서의 뒤집힘에 대한 고려가 포함되어야 한다.
• RQ4 제안된 이중 방향 증거 측정 기준은 빈도 수치만을 기준으로 할 때보다 의미 있는 부분 순서 에피소드를 어떻게 더 잘 선택하는가?
• RQ5 실제 합성 이벤트 스트림에서 데이터 길이, 노이즈 수준, 임베디드 패턴 수에 따라 알고리즘이 얼마나 잘 확장되는가?

주요 결과

• 알고리즘은 데이터 길이에 대해 선형으로 확장되며, 22,500개의 이벤트에서 52초에서 90,000개의 이벤트에서 3분 25초로 실행 시간이 증가하지만, fth/T 비율은 일정하게 유지된다.
• 노이즈 수준 0.88(ρ = 0.045)에서 실행 시간이 11분 10초로 최고조에 도달한다. 이는 3노드 후보 수의 급증으로 인한 것으로, 노이즈에 민감함을 보여준다.
• 8개의 8노드 에피소드가 임베디드된 상황에서, 이중 방향 증거 임계값(H(α))이 0.2에서 1.0로 증가함에 따라 빈도 높은 에피소드 수가 100개에서 10개로 감소한다. 이는 효과적인 걸러내기의 결과이다.
• 낮은 노이즈(ρ = 0.02) 조건에서는 실행 시간이 최소로 유지되며, 1노드 수준에서 신호 이벤트만 빈도 높게 발생하기 때문에 후보 생성이 줄어든다.
• 이중 방향 증거가 중복되거나 정보가 없는 패턴을 효과적으로 제거함으로써, 고노이즈 환경에서도 의미 있는 부분 순서 에피소드를 성공적으로 탐지한다.
• 알고리즘은 일련의 순서 또는 병렬 에피소드만 탐색하도록 특화될 수 있으며, 이는 기존 접근 방식을 통합하고 일반성을 입증한다.