[论文解读] From Complex Event Processing to Simple Event Processing

Sylvain Hallé|arXiv (Cornell University)|Feb 26, 2017

Advanced Database Systems and Queries参考文献 3被引用 7

一句话总结

本文提出 BeepBeep，一种轻量级、可扩展且零配置的事件流处理引擎，弥合了底层脚本与复杂 CEP 系统之间的差距。它引入了一种基于模块化处理器的架构和一种类似 SQL 的查询语言（eSQL），以实现简单、可组合且可扩展的流处理，适用于多种用例，在中等负载工作量下实现了合理的性能，同时通过可自定义的调色板支持用户定义的扩展。

ABSTRACT

Many problems in Computer Science can be framed as the computation of queries over sequences, or "streams" of data units called events. The field of Complex Event Processing (CEP) relates to the techniques and tools developed to efficiently process these queries. However, most CEP systems developed so far have concentrated on relatively narrow types of queries, which consist of sliding windows, aggregation functions, and simple sequential patterns computed over events that have a fixed tuple structure. Many of them boast throughput, but in counterpart, they are difficult to setup and cumbersome to extend with user-defined elements. This paper describes a variety of use cases taken from real-world scenarios that present features seldom considered in classical CEP problems. It also provides a broad review of current solutions, that includes tools and techniques going beyond typical surveys on CEP. From a critical analysis of these solutions, design principles for a new type of event stream processing system are exposed. The paper proposes a simple, generic and extensible framework for the processing of event streams of diverse types; it describes in detail a stream processing engine, called BeepBeep, that implements these principles. BeepBeep's modular architecture, which borrows concepts from many other systems, is complemented with an extensible query language, called eSQL. The end result is an open, versatile, and reasonably efficient query engine that can be used in situations that go beyond the capabilities of existing systems.

研究动机与目标

• 为解决现有复杂事件处理（CEP）系统存在的复杂性和僵化性问题，这些系统通常需要大量配置且缺乏可扩展性。
• 通过提出一种“简单事件处理”解决方案，填补现有事件处理工具中低层次脚本与重型分布式平台之间的空白。
• 设计一种支持丰富查询表达能力、用户自定义构件以及领域特定处理单元无缝集成的系统。
• 使用户能够通过动态“调色板”定义自定义处理器并扩展查询语言，而无需修改核心组件。
• 证明轻量级系统能够处理超越基本窗口操作和聚合的复杂查询，包括时间逻辑和模式匹配。

提出的方法

• 系统围绕基于模块化处理器的架构构建，每个处理器对事件流执行特定转换，从而实现可组合的数据处理管道。
• 设计了一种声明式查询语言 eSQL，以实现关系透明性，确保与 SQL 在常见操作上的向后兼容性。
• 通过“调色板”实现可扩展性——即动态加载的包，用于捆绑自定义处理器和 eSQL 的语法扩展。
• 计算模型经过形式化指定，以确保语义清晰，并支持独立实现。
• 该引擎支持无状态和有状态处理，包括跨多个流和时间窗口的复杂事件关联。
• 计划提供基于 GUI 的界面，以补充 eSQL，使用户能够更直观地通过可视化方式构建处理链，而非编写文本查询。

实验结果

研究问题

• RQ1 轻量级、零配置的事件处理系统是否能够有效处理超越基本窗口操作和聚合的复杂查询，如时间逻辑和模式匹配？
• RQ2 如何设计一种既简单又可扩展的查询语言，支持用户自定义构件，同时保持与 SQL 语法的兼容性？
• RQ3 哪些架构原则能够使系统在模块化的同时，具备足够效率以应对中等负载的流处理任务？
• RQ4 处理器模型在多大程度上能够支持表达性强、可组合的数据处理链，而不会牺牲性能？
• RQ5 在实际应用中，该系统与现有 CEP 平台相比，在可用性、表达能力和吞吐量方面表现如何，特别是在真实用例中？

主要发现

• BeepBeep 成功处理了在商业 CEP 工具或 RDBMS 中难以甚至无法建模的用例，特别是涉及复杂事件关联和时间逻辑的场景。
• 对于标准的窗口和模式查询，BeepBeep 的吞吐量低于顶级商业系统，但对于轻量级到中等负载的工作负载仍保持合理水平。
• eSQL 语言实现了关系透明性，使标准的 SQL 类操作能够以熟悉且一致的语法表达。
• 通过调色板实现的用户自定义处理器和语法扩展，可在不修改核心引擎的前提下实现显著的定制化和领域特定表达能力。
• 模块化架构支持清晰、易读且可组合的处理链，适用于从网络入侵检测到软件测试等各类任务。
• 尽管未优先考虑峰值性能，BeepBeep 证明了简单且可扩展的系统能够有效支持复杂的真实世界流处理场景。