[论文解读] Efficient Detection of Complex Event Patterns Using Lazy Chain Automata

Ilya Kolchinsky, Assaf Schuster+1 more|arXiv (Cornell University)|Dec 15, 2016

Advanced Database Systems and Queries参考文献 7被引用 3

一句话总结

本文提出了一种基于非确定性有限自动机（NFA）的复杂事件处理（CEP）的惰性求值机制，通过按事件频率重新排序事件处理顺序，以减少冗余计算和内存使用。通过使用链式NFA和树形NFA拓扑结构，优先处理稀有事件，该方法在真实股票交易数据上实现了吞吐量提升高达两个数量级，并显著降低了内存占用。

ABSTRACT

Complex Event Processing (CEP) is an emerging field with important applications in many areas. CEP systems collect events arriving from input data streams and use them to infer more complex events according to predefined patterns. The Non-deterministic Finite Automaton (NFA) is one of the most popular mechanisms on which such systems are based. During the event detection process, NFAs incrementally extend previously observed partial matches until a full match for the query is found. As a result, each arriving event needs to be processed to determine whether a new partial match is to be initiated or an existing one extended. This method may be highly inefficient when many of the events do not result in output matches. We present a lazy evaluation mechanism that defers processing of frequent event types and stores them internally upon arrival. Events are then matched in ascending order of frequency, thus minimizing potentially redundant computations. We introduce a Lazy Chain NFA, which utilizes the above principle, and does not depend on the underlying pattern structure. An algorithm for constructing a Lazy Chain NFA for common pattern types is presented, including conjunction, negation and iteration. Finally, we experimentally evaluate our mechanism on real-world stock trading data. The results demonstrate a performance gain of two orders of magnitude over traditional NFA-based approaches, with significantly reduced memory resource requirements.

研究动机与目标

• 解决传统基于NFA的CEP系统在事件到达率差异显著时因维护过多部分匹配而导致的低效问题。
• 通过延迟处理高频事件，优先处理更稀有、更具选择性的事件，从而减少复杂事件处理中的内存和计算开销。
• 设计一种通用机制，适用于包含合取、否定和迭代的复杂模式，而不仅限于简单序列。
• 为所提出的惰性求值机制提供形式化正确性证明，覆盖多种模式类型，填补先前研究的空白。
• 通过树形NFA扩展，实现在无需事先知晓事件频率的情况下自适应且频率感知的处理。

提出的方法

• 引入一种惰性求值模型，将到达的事件存储在输入缓冲区中，并根据事件频率决定何时进行处理，从而推迟处理。
• 设计链式NFA拓扑结构，需预先定义事件频率顺序，并按频率升序处理事件，以最小化活跃的部分匹配数。
• 构建树形NFA，能够在运行时动态计算频率顺序，从而适应未知或变化的事件到达速率。
• 提供一种系统化算法，将常见模式类型（如序列、合取、否定和迭代）编译为链式NFA和树形NFA结构。
• 确保在采用“跳转至任意匹配”事件选择策略时，匹配过程的正确性，允许原始事件在多个匹配中无限复用。
• 利用NFA的拓扑结构，延迟对高频事件的计算，减少活跃状态实例的数量，从而提升运行时效率。

实验结果

研究问题

• RQ1 按事件频率升序处理是否能减少基于NFA的CEP系统中的活跃部分匹配数，从而提升性能并降低内存使用？
• RQ2 如何将惰性求值机制形式化地集成到基于NFA的CEP中，以支持包含合取、否定和迭代的复杂模式？
• RQ3 使用预定义频率顺序（链式NFA）与动态运行时频率计算（树形NFA）在性能和内存使用方面有何权衡？
• RQ4 是否可以通过延迟处理高频事件，在保持所有可能匹配正确性的前提下，同时实现高吞吐量和低内存消耗？
• RQ5 在真实工作负载中，特别是在事件到达分布呈偏斜的情况下，所提出的惰性NFA模型与传统急切式NFA求值相比表现如何？

主要发现

• 所提出的惰性求值机制在真实股票交易数据上，与传统急切式NFA-based CEP系统相比，吞吐量最高提升了两个数量级（100倍）。
• 由于运行时维护的活跃部分匹配数显著减少，内存占用也大幅降低，尤其是在处理高频事件时效果更明显。
• 链式NFA依赖于预定义的事件频率顺序，通过推迟高频事件的处理并最小化冗余状态扩展，实现了高效处理。
• 树形NFA在运行时动态计算最优处理顺序，适用于事件频率未知或可变的环境。
• 所提出的惰性求值机制在所有标准CEP模式类型（包括序列、合取、否定和迭代）下均通过了形式化正确性证明。
• 实验评估证实，链式NFA和树形NFA在运行时复杂度、内存使用和整体系统效率方面均优于急切式NFA求值。