[논문 리뷰] Streaming Algorithms for Pattern Discovery over Dynamically Changing Event Sequences

Debprakash Patnaik, Naren Ramakrishnan외 2명|arXiv (Cornell University)|2012. 05. 21.

Data Mining Algorithms and Applications참고 문헌 16인용 수 8

한 줄 요약

이 논문은 동적으로 변화하는 이벤트 시퀀스에서 상위-k 빈도의 에피소드를 스트리밍 방식으로 탐지하기 위한 알고리즘을 제안한다. 슬라이딩 윈도우 모델을 사용하여 데이터를 배치 단위로 처리하며, 경계 집합을 활용해 배치 간 계산을 재사용함으로써 후보 생성 비용을 $F^2$에서 $FF_{\text{new}}$로 감소시킨다. 잘 분리된 빈도 조건 하에서 이론적 근사 보장을 확보하고, 실제 및 합성 데이터에서 뛰어난 실험 성능을 입증한다.

ABSTRACT

Discovering frequent episodes over event sequences is an important data mining task. In many applications, events constituting the data sequence arrive as a stream, at furious rates, and recent trends (or frequent episodes) can change and drift due to the dynamical nature of the underlying event generation process. The ability to detect and track such the changing sets of frequent episodes can be valuable in many application scenarios. Current methods for frequent episode discovery are typically multipass algorithms, making them unsuitable in the streaming context. In this paper, we propose a new streaming algorithm for discovering frequent episodes over a window of recent events in the stream. Our algorithm processes events as they arrive, one batch at a time, while discovering the top frequent episodes over a window consisting of several batches in the immediate past. We derive approximation guarantees for our algorithm under the condition that frequent episodes are approximately well-separated from infrequent ones in every batch of the window. We present extensive experimental evaluations of our algorithm on both real and synthetic data. We also present comparisons with baselines and adaptations of streaming algorithms from itemset mining literature.

연구 동기 및 목표

• 기존의 다중패assing 알고리즘이 비현실적인 고속의 동적으로 변화하는 이벤트 스트림에서 시간적 패턴을 탐지하는 데 도전하는 문제를 해결하기 위해.
• 전체 데이터 스트림을 저장하지 않고도 최근 이벤트 배치 윈도우 내에서 실시간으로 상위-k 빈도의 에피소드를 탐지할 수 있도록 하기 위해.
• 이전 배치에서의 작업을 경계 집합 데이터 구조를 통해 재사용하여 후보 생성의 계산 오버헤드를 줄이기 위해.
• 각 배치에서 빈도가 높은 에피소드가 빈도가 낮은 것들과 약간의 간격을 두고 분리되어 있다고 가정할 때 이론적 근사 보장을 제공하기 위해.
• 지속 가능한 패턴 탐지 지원을 위해 시간이 지남에 따라 지속되는 패턴을 식별할 수 있도록 $(v,k)$-지속 패턴의 개념을 도입하기 위해.

제안 방법

• 고정 크기의 배치 단위로 이벤트 스트림을 처리하며, 패턴 탐지를 위한 최근 배치의 슬라이딩 윈도우를 유지한다.
• 연속된 배치 간에 빈도가 높은 에피소드 패턴을 효율적으로 추적하고 재사용하기 위해 경계 집합 데이터 구조를 활용한다.
• 에피소드 탐지에 Apriori 스타일의 레벨별 접근 방식을 적용하지만, 후보 생성을 최적화하기 위해 현재 배치에서 새로 빈도가 높아진 패턴에만 집중한다.
• 상위-k 에피소드 집합을 정의하기 위해 $k^{\text{th}}$로 빈도가 높은 에피소드에서 유도된 빈도 임계값을 사용하여 임의의 지지도 임계값을 피한다.
• 스트리밍 환경을 지원하기 위해 최소 길이 제약 조건이 있는 시간 윈도우 내에서의 최대 빈도 기반 신규 빈도 측정법을 도입한다.
• 연속된 $k$개의 윈도우 동안 최소 $v$번 이상 발생하는 패턴을 식별하기 위해 $(v,k)$-지속 패턴의 개념을 제안한다.

실험 결과

연구 질문

• RQ1 제한된 메모리와 실시간 처리 조건 하에서 메모리 효율적이고 실시간으로 빈도 높은 에피소드 탐지가 가능할 수 있는가?
• RQ2 데이터 스트림에서 연속된 배치 간에 빈도 높은 에피소드를 탐지할 때 후보 생성 오버헤드를 어떻게 줄일 수 있는가?
• RQ3 동적 데이터 조건 하에서 상위-k 에피소드 탐지의 정확도에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 스트리밍 이벤트 시퀀스에서 일시적인 폭발적 패턴과 지속적인 패턴을 어떻게 구별할 수 있는가?
• RQ5 정확도와 효율성 측면에서 기존의 스트리밍 아이템셋 탐지 방법에 비해 제안된 알고리즘이 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 경계 집합을 배치 간에 재사용함으로써 후보 생성 비용을 $F^2$에서 $FF_{\text{new}}$로 감소시켜 계산 효율성을 크게 향상시켰다.
• 각 배치에서 빈도가 높은 에피소드가 빈도가 낮은 것들과 약간의 간격을 두고 분리되어 있다고 가정할 경우, 근사 보장을 확보했다.
• 실제 및 합성 데이터에 대한 실험 평가 결과, 엄격한 메모리 및 시간 제약 조건 하에서도 상위-k 빈도의 에피소드를 높은 정확도로 탐지함을 입증했다.
• 계산 효율성과 패턴 탐지 정확도 측면에서 베이스라인 방법 및 아이템셋 탐지 문헌에서의 변형들보다 알고리즘이 뛰어난 성능을 보였다.
• $(v,k)$-지속 패턴의 도입은 신경 활동이나 네트워크 트래픽 이상 징후와 같은 동적 데이터에서 안정적이고 반복적인 패턴을 효과적으로 식별할 수 있도록 했다.
• 이 방법은 에피소드를 넘어서도 일반화 가능하며, 유사한 구조적 및 시간적 제약 조건을 가진 다른 패턴 유형에도 적용 가능하다.