[논문 리뷰] Efficient Detection of Complex Event Patterns Using Lazy Chain Automata

Ilya Kolchinsky, Assaf Schuster외 1명|arXiv (Cornell University)|2016. 12. 15.

Advanced Database Systems and Queries참고 문헌 7인용 수 3

한 줄 요약

이 논문은 비결정성 유한 오토마타(NFA) 기반의 복잡한 이벤트 처리(CEP)를 위한 게으른 평가 기법을 제안하며, 이벤트 처리 순서를 빈도에 따라 재정렬하여 불필요한 계산과 메모리 사용을 줄입니다. 체인 NFA 및 트리 NFA 아키텍처를 활용해 드문 이벤트부터 처리함으로써, 실제 주식 거래 데이터에서 처리량이 최대 두 배수 수준 향상되고 메모리 사용도 크게 감소합니다.

ABSTRACT

Complex Event Processing (CEP) is an emerging field with important applications in many areas. CEP systems collect events arriving from input data streams and use them to infer more complex events according to predefined patterns. The Non-deterministic Finite Automaton (NFA) is one of the most popular mechanisms on which such systems are based. During the event detection process, NFAs incrementally extend previously observed partial matches until a full match for the query is found. As a result, each arriving event needs to be processed to determine whether a new partial match is to be initiated or an existing one extended. This method may be highly inefficient when many of the events do not result in output matches. We present a lazy evaluation mechanism that defers processing of frequent event types and stores them internally upon arrival. Events are then matched in ascending order of frequency, thus minimizing potentially redundant computations. We introduce a Lazy Chain NFA, which utilizes the above principle, and does not depend on the underlying pattern structure. An algorithm for constructing a Lazy Chain NFA for common pattern types is presented, including conjunction, negation and iteration. Finally, we experimentally evaluate our mechanism on real-world stock trading data. The results demonstrate a performance gain of two orders of magnitude over traditional NFA-based approaches, with significantly reduced memory resource requirements.

연구 동기 및 목표

• 이벤트 도착 빈도가 크게 변동할 경우 과도한 부분 일치를 유지하는 전통적인 NFA 기반 CEP 시스템의 비효율성을 해결합니다.
• 자주 발생하는 이벤트의 처리를 연기함으로써 복잡한 이벤트 처리에서 메모리와 계산 오버헤드를 줄입니다. 이는 드문 이벤트, 즉 더 선택적인 이벤트를 먼저 처리함으로써 달성됩니다.
• 단순한 순서 외에도 논리적 합성, 부정, 반복을 포함한 복잡한 패턴에 적용 가능한 일반적인 메커니즘을 개발합니다.
• 기존 연구에서 빈도가 없는 점을 메우기 위해 다양한 패턴 유형에 대해 제안된 게으른 평가 기법의 형식적 정당성을 입증합니다.
• 사전에 이벤트 빈도를 알지 못하더라도, 트리 NFA 확장 기능을 통해 적응형이고 빈도 인식 처리를 가능하게 합니다.

제안 방법

• 입력 이벤트를 입력 버퍼에 저장하고, 이벤트 빈도에 기반해 필요할 때까지 처리를 연기하는 게으른 평가 모델을 도입합니다.
• 사전에 정의된 이벤트 빈도 순서가 필요한 체인 NFA 아키텍처를 설계하여, 빈도가 낮은 순서에서부터 이벤트를 처리함으로써 활성 부분 일치 수를 최소화합니다.
• 실시간으로 빈도 순서를 동적으로 계산하는 트리 NFA를 구축하여, 알려지지 않거나 변화하는 이벤트 도착률에 대응할 수 있도록 합니다.
• 일반적인 패턴 유형—예를 들어 순서, 논리적 합성, 부정, 반복—을 체인 NFA 및 트리 NFA 구조로 컴파일하기 위한 체계적 알고리즘을 제공합니다.
• 모든 매칭 과정의 정확성을 확보하기 위해, '어느 일치가 발생할 때까지 건너뛰기' 전략을 사용하는 이벤트 선택 방식에 대해 정당성을 입증합니다. 이는 기본 이벤트가 여러 매칭에 무제한으로 재사용될 수 있도록 합니다.
• NFA의 위상적 구조를 활용해 빈번한 이벤트의 계산을 연기함으로써 활성 상태 인스턴스 수를 줄이고 런타임 효율성을 향상시킵니다.

실험 결과

연구 질문

• RQ1 이벤트 빈도 순서에 따라 처리하면 NFA 기반 CEP 시스템에서 활성 부분 일치 수가 줄어들어 성능 향상과 메모리 사용 감소에 기여할 수 있는가?
• RQ2 게으른 평가 기법을 형식적으로 NFA 기반 CEP에 통합하여 논리적 합성, 부정, 반복을 포함한 복잡한 패턴을 지원할 수 있는가?
• RQ3 사전 정의된 빈도 순서(체인 NFA)를 사용하는 것과 실시간으로 빈도를 계산하는 적응형 방식(트리 NFA) 사이의 성능 및 메모리 트레이드오���은 어떠한가?
• RQ4 모든 가능한 매칭에 대해 정확성을 유지하면서도, 빈번한 이벤트의 처리를 연기함으로써 높은 처리량과 낮은 메모리 소비를 동시에 달성할 수 있는가?
• RQ5 왜곡된 이벤트 도착 분포 하에서 기존의 급작스러운 NFA 평가 방식에 비해 제안된 게으른 NFA 모델은 실제 워크로드에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 게으른 평가 기법은 실제 주식 거래 데이터에서 기존의 급작스러운 NFA 기반 CEP 시스템 대비 처리량이 최대 두 배수 수준(100배) 향상됩니다.
• 특히 높은 빈도로 발생하는 이벤트를 처리할 경우, 런타임에 유지되는 활성 부분 일치 수가 줄어들어 메모리 소비가 크게 감소합니다.
• 사전에 정의된 이벤트 빈도 순서에 의존하는 체인 NFA는 빈번한 이벤트를 연기함으로써 효율적인 처리를 가능하게 하며, 불필요한 상태 확장 수를 최소화합니다.
• 트리 NFA는 런타임에 최적의 처리 순서를 동적으로 계산하므로, 빈도가 알려지지 않거나 변동성이 큰 환경에 적합합니다.
• 모든 표준 CEP 패턴 유형(순서, 논리적 합성, 부정, 반복)에 대해 게으른 평가 기법의 정확성이 형식적으로 입증되었습니다.
• 실험적 평가 결과, 체인 NFA 및 트리 NFA 모두 급작스러운 NFA 평가 방식에 비해 런타임 복잡도, 메모리 사용, 전체 시스템 효율성 측면에서 뛰어난 성능을 보였습니다.