[论文解读] On Load Shedding in Complex Event Processing

Yeye He, Siddharth Barman+1 more|arXiv (Cornell University)|Dec 16, 2013

Advanced Database Systems and Queries参考文献 45被引用 14

一句话总结

本文提出了一套形式化框架，用于在内存和CPU资源受限条件下对复杂事件处理（CEP）系统中的负载削减进行建模，将其形式化为效用最大化优化问题。研究建立了复杂度结果，并提出了具有性能保证的近似算法，包括针对双约束负载削减的三重准则近似算法，以及针对特定变体的多项式时间解法。

ABSTRACT

Complex Event Processing (CEP) is a stream processing model that focuses on detecting event patterns in continuous event streams. While the CEP model has gained popularity in the research communities and commercial technologies, the problem of gracefully degrading performance under heavy load in the presence of resource constraints, or load shedding, has been largely overlooked. CEP is similar to "classical" stream data management, but addresses a substantially different class of queries. This unfortunately renders the load shedding algorithms developed for stream data processing inapplicable. In this paper we study CEP load shedding under various resource constraints. We formalize broad classes of CEP load-shedding scenarios as different optimization problems. We demonstrate an array of complexity results that reveal the hardness of these problems and construct shedding algorithms with performance guarantees. Our results shed some light on the difficulty of developing load-shedding algorithms that maximize utility.

研究动机与目标

• 解决复杂事件处理（CEP）中负载削减研究不足的问题，其查询模式与传统流处理存在根本性差异。
• 将CEP负载削减形式化为在内存、CPU或两者约束下以最大化检测到的事件模式效用为目标的优化问题。
• 为CEP负载削减的困难性提供理论基础，证明多种问题变体的NP难性和不可近似性结果。
• 设计具有性能保证的近似算法，包括三重准则与伪多项式近似，以支持实际部署。
• 证明该框架在真实场景中的适用性，如基于云的CEP服务以及多租户环境中的SLA驱动工作负载管理。

提出的方法

• 将CEP负载削减建模为带二值变量（用于事件与查询选择）的整数规划（ILP）与线性规划（LP）问题。
• 提出五种核心问题变体：FMLS（分数内存仅限）、FCLS（分数CPU仅限）、IDLS（整数双约束）、FDLS（分数双约束）与IMLS（整数内存仅限）。
• 利用LP松弛与舍入技术推导近似算法，尤其针对IDLS中的三重准则近似。
• 在IDLS中引入约束（31），确保仅当查询的所有组成事件均在内存中时才处理该查询，从而正确建模CPU使用情况。
• 证明FDLS具有非凸约束，导致全局优化困难，并将其识别为具有挑战性的开放问题。
• 利用事件参与查询的最大数量（p）与查询与内存预算比值（f）等结构特性，推导出伪多项式近似界。

实验结果

研究问题

• RQ1 在内存与CPU资源受限条件下，最大化CEP负载削减效用的问题有多难？
• RQ2 我们能否为资源受限条件下的CEP负载削减设计具有性能保证的近似算法？
• RQ3 双约束负载削减的分数与整数变体（FDLS与IDLS）的复杂度如何？
• RQ4 事件模式的结构特性（如事件在查询中的参与度）如何影响CEP负载削减的可近似性？
• RQ5 所提出的框架能否应用于真实世界的CEP工作负载，如健康监测或多租户云环境中的处理？

主要发现

• FMLS（分数内存仅限负载削减）问题可通过线性规划在多项式时间内求解，因其可简化为标准线性规划问题。
• FCLS（分数CPU仅限负载削减）问题同样可在多项式时间内求解，因其为单约束线性规划。
• IDLS（整数双约束负载削减）具有三重准则近似，参数为(1/τ, 1/(1−τ), 1/(1−τ))，其中τ ∈ [0,1]，可确保资源使用与效用损失的有界性。
• 对于IDLS，可实现伪多项式(1−f)−1p-近似，其中p为事件最多可参与的查询数，f为最大查询大小相对于内存预算的比值。
• FDLS（分数双约束负载削减）问题具有非凸约束，使其显著难于其整数对应问题，且目前尚无已知近似算法。
• FMLS与FCLS的难解性结果可推广至FDLS，由于非凸性，该问题仍属不可解，凸显未来优化研究中的关键挑战。