[논문 리뷰] Foundations of Complex Event Processing.

Alejandro Grez, Cristian Riveros외 1명|arXiv (Cornell University)|2017. 09. 15.

Advanced Database Systems and Queries참고 문헌 41인용 수 6

한 줄 요약

이 논문은 denotational semantics를 갖는 CEL이라는 언어와 효율적인 평가를 위한 Complex Event Automata(CEA)에 중심을 둔 복합 이벤트 처리(CEP)를 위한 형식적 프레임워크를 제안한다. 최적화 기법과 상수 시간 평가 알고리즘을 도입하여, 특히 단항 필터 쿼리에서 기존 시스템 대비 수개의 주기 차이를 보이는 성능 향상을 달성한다.

ABSTRACT

Complex Event Processing (CEP) has emerged as the unifying field for technologies that require processing and correlating distributed data sources in real-time. CEP finds applications in diverse domains, which has resulted in a large number of proposals for expressing and processing complex events. However, existing CEP languages lack from a clear semantics, making them hard to understand and generalize. Moreover, there are no general techniques for evaluating CEP query languages with clear performance guarantees. In this paper we embark on the task of giving a rigorous and efficient framework to CEP. We propose a formal language for specifying complex events, called CEL, that contains the main features used in the literature and has a denotational and compositional semantics. We also formalize the so-called selection strategies, which had only been presented as by-design extensions to existing frameworks. With a well-defined semantics at hand, we study how to efficiently evaluate CEL for processing complex events in the case of unary filters. We start by studying the syntactical properties of CEL and propose rewriting optimization techniques for simplifying the evaluation of formulas. Then, we introduce a formal computational model for CEP, called complex event automata (CEA), and study how to compile CEL formulas into CEA. Furthermore, we provide efficient algorithms for evaluating CEA over event streams using constant time per event followed by constant-delay enumeration of the results. By gathering these results together, we propose a framework for efficiently evaluating CEL with unary filters. Finally, we show experimentally that this framework consistently outperforms the competition, and even over trivial queries can be orders of magnitude more efficient.

연구 동기 및 목표

• 기존 복합 이벤트 처리(CEP) 언어에 형식적 의미 이론이 부족하여 이해와 일반화가 어려운 문제를 해결하기 위해.
• 성능 보장을 갖는 효율적인 평가가 가능한 형식적 계산 모델을 개발하기 위해.
• CEL 수식에서 복합 이벤트 오토마타(CEA)로의 컴파일링 파이프라인을 설계하여 최적화된 런타임 실행을 가능하게 하기 위해.
• 평가 이전에 CEL 수식을 단순화하는 리라이팅 최적화 기법을 제공하기 위해.
• 각 이벤트에 대해 상수 시간 처리와 결과의 상수 지연 열거를 달성하여 고성능을 확보하기 위해.

제안 방법

• 기존 CEP 언어의 핵심 기능을 포괄하는 denotational 및 조합적 의미 이론을 갖춘 복합 이벤트를 위한 형식적 언어인 CEL을 제안한다.
• 이전에는 수동적 확장으로 간주되었던 선택 전략을 형식적으로 정의된 구성 요소로 도입한다.
• CEL 수식의 실행을 표현하기 위해 복합 이벤트 오토마타(CEA)라는 형식적 계산 모델을 개발한다.
• CEL 수식을 등가인 CEAs로 번역하는 컴파일 과정을 설계하여 효율적인 런타임 평가를 가능하게 한다.
• 컴파일 이전에 CEL 수식을 단순화하기 위해 문법적 리라이팅 기반 최적화 기법을 적용한다.
• 각 이벤트를 상수 시간 내에 처리하고 결과를 상수 지연으로 열거하는 평가 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 CEP 언어에 대해 명확성과 조합적 추론을 보장하기 위해 형식적 의미 이론을 어떻게 확립할 수 있는가?
• RQ2 복합 이벤트 쿼리의 효율적이고 예측 가능한 평가를 가능하게 하는 형식적 모델은 무엇인가?
• RQ3 리라이팅 기법을 통해 CEL 수식을 단순화하여 평가 성능을 향상시킬 수 있는가?
• RQ4 CEL 수식을 상수 시간 이벤트 처리를 지원하는 모델로 어떻게 컴파일할 수 있는가?
• RQ5 제안된 프레임워크를 실제 적용했을 때 어떤 성능 보장을 달성할 수 있는가?

주요 결과

• 제안된 프레임워크는 각 이벤트에 대해 상수 시간 처리와 결과의 상수 지연 열거를 달성하여 고처리량 CEP를 가능하게 한다.
• 이 프레임워크는 일관되게 기존 시스템을 초월하며, 단순한 쿼리에서조차 기존 시스템 대비 수개의 주기 차이를 보이는 성능 향상을 달성한다.
• 리라이팅 최적화 기법은 수식의 복잡도를 크게 감소시켜 평가 효율성을 향상시킨다.
• CEL을 CEA로 컴파일하는 과정은 의미를 유지하면서도 효율적인 실행을 가능하게 하며 강력한 성능 보장을 제공한다.
• 형식적 의미 이론과 계산 모델은 정당한 구성 원칙에 기반한 추론과 최적화를 가능하게 한다.
• 실증 평가 결과, 심지어 단순한 쿼리라도 경쟁 시스템 대비 수개의 주기 차이를 보이는 빠른 처리 속도를 입증한다.