[論文レビュー] On Load Shedding in Complex Event Processing

Yeye He, Siddharth Barman+1 more|arXiv (Cornell University)|Dec 16, 2013

Advanced Database Systems and Queries参考文献 45被引用数 14

ひとこと要約

本稿は、メモリおよびCPU制約下における複雑イベント処理（CEP）システムにおけるロードシェーディングの形式的フレームワークを提案し、それを効用最大化最適化問題としてモデル化する。複雑さの結果を確立し、性能保証付きの近似アルゴリズムを提示しており、特に二重制約ロードシェーディングに対して三基準近似を含む。多項式時間解法も特定の変種に対して提示されている。

ABSTRACT

Complex Event Processing (CEP) is a stream processing model that focuses on detecting event patterns in continuous event streams. While the CEP model has gained popularity in the research communities and commercial technologies, the problem of gracefully degrading performance under heavy load in the presence of resource constraints, or load shedding, has been largely overlooked. CEP is similar to "classical" stream data management, but addresses a substantially different class of queries. This unfortunately renders the load shedding algorithms developed for stream data processing inapplicable. In this paper we study CEP load shedding under various resource constraints. We formalize broad classes of CEP load-shedding scenarios as different optimization problems. We demonstrate an array of complexity results that reveal the hardness of these problems and construct shedding algorithms with performance guarantees. Our results shed some light on the difficulty of developing load-shedding algorithms that maximize utility.

研究の動機と目的

• CEPにおけるロードシェーディングに関する研究の不足に取り組む。これは、クエリパターンにおいて従来のストリーム処理とは根本的に異なる。
• メモリ、CPU、または両方の制約下でCEPロードシェーディングを最適化問題として形式化し、検出されたイベントパターンの効用を最大化する。
• CEPロードシェーディングの難解さの理論的基盤を提供し、さまざまな問題変種におけるNP困難性および近似不能性の結果を示す。
• 実用的導入を想定した性能保証付きの近似アルゴリズム（三基準および擬似多項式近似を含む）を設計する。
• クラウドベースのCEPサービスやマルチテント環境におけるSLA駆動型ワークロード管理など、実世界のシナリオへの適用可能性を示す。

提案手法

• イベントおよびクエリ選択のためのバイナリ変数を用いた整数計画法（ILP）および線形計画法（LP）としてCEPロードシェーディングをモデル化する。
• 5つのコア問題変種を定式化する：FMLS（分数メモリ専用）、FCLS（分数CPU専用）、IDLS（整数二重制約）、FDLS（分数二重制約）、IMLS（整数メモリ専用）。
• LP緩和と丸め技法を用いて近似アルゴリズムを導出する。特にIDLSにおける三基準近似に注目する。
• IDLSにおける制約（31）を導入し、クエリがすべての構成イベントをメモリ内に保有している場合にのみ処理されるようにし、CPU使用量を正しくモデル化する。
• FDLSが非凸かつ非凸制約を持つこと、したがってグローバル最適化が困難であることを証明し、未解決の難問として特定する。
• イベントごとの最大クエリ参加数（p）やクエリ対メモリ予算比（f）といった構造的性質を活用し、擬似多項式近似バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 メモリおよびCPU制約下でCEPロードシェーディングにおける効用最大化問題はどの程度困難であるか？
• RQ2 リソース制約下でCEPロードシェーディングに性能保証付きの近似アルゴリズムを設計できるか？
• RQ3 二重制約ロードシェーディングの分数および整数変種（FDLSおよびIDLS）の複雑さは何か？
• RQ4 イベントパターンの構造的性質（例：イベントのクエリ参加）は、CEPロードシェーディングの近似可能性にどのように影響するか？
• RQ5 提案されたフレームワークは、健康モニタリングやクラウドベースのマルチテント処理といった実世界のCEPワークロードに適用可能か？

主な発見

• FMLS（分数メモリ専用ロードシェーディング）問題は、標準的なLPに帰着するため、線形計画法により多項式時間で解ける。
• FCLS（分数CPU専用ロードシェーディング）問題も、単一の制約を持つ線形計画法であるため、多項式時間で解ける。
• IDLS（整数二重制約ロードシェーディング）は、任意のτ ∈ [0,1]に対してパラメータ（1/τ, 1/(1−τ), 1/(1−τ)）の三基準近似を有し、リソース使用量と効用損失が有界であることを保証する。
• IDLSに関しては、pがイベントが属する最大クエリ数で、fがメモリ予算に対する最大クエリサイズ比であるとき、(1−f)−1p-近似が擬似多項式時間で達成可能である。
• FDLS（分数二重制約ロードシェーディング）問題は非凸かつ非凸制約を持つため、整数版よりも著しく困難であり、既知の近似は存在しない。
• FMLSおよびFCLSの難解性結果はFDLSに拡張可能であり、非凸性のため問題は依然として不適切である。これは、将来の最適化研究における主要な挑戦を示している。