[論文レビュー] Efficient Detection of Complex Event Patterns Using Lazy Chain Automata

Ilya Kolchinsky, Assaf Schuster+1 more|arXiv (Cornell University)|Dec 15, 2016

Advanced Database Systems and Queries参考文献 7被引用数 3

ひとこと要約

この論文は、非決定的有限オートマトン（NFA）に基づく複雑イベント処理（CEP）における遅延評価メカニズムを提案し、イベントの頻度に応じて処理順序を再配置することで、重複計算とメモリ使用量を削減する。Chain NFAおよびTree NFAのトポロジーを用いて、珍しいイベントを先に処理することで、実際の株式取引データにおいてスループットが最大2桁向上し、メモリ使用量も顕著に削減される。

ABSTRACT

Complex Event Processing (CEP) is an emerging field with important applications in many areas. CEP systems collect events arriving from input data streams and use them to infer more complex events according to predefined patterns. The Non-deterministic Finite Automaton (NFA) is one of the most popular mechanisms on which such systems are based. During the event detection process, NFAs incrementally extend previously observed partial matches until a full match for the query is found. As a result, each arriving event needs to be processed to determine whether a new partial match is to be initiated or an existing one extended. This method may be highly inefficient when many of the events do not result in output matches. We present a lazy evaluation mechanism that defers processing of frequent event types and stores them internally upon arrival. Events are then matched in ascending order of frequency, thus minimizing potentially redundant computations. We introduce a Lazy Chain NFA, which utilizes the above principle, and does not depend on the underlying pattern structure. An algorithm for constructing a Lazy Chain NFA for common pattern types is presented, including conjunction, negation and iteration. Finally, we experimentally evaluate our mechanism on real-world stock trading data. The results demonstrate a performance gain of two orders of magnitude over traditional NFA-based approaches, with significantly reduced memory resource requirements.

研究の動機と目的

• イベント到着レートのばらつきが大きい場合に、従来のNFAベースのCEPシステムが過剰に部分一致を保持するという非効率性に対処する。
• 頻度の高いイベントの処理を遅らせる仕組みを導入することで、複雑イベント処理におけるメモリと計算オーバーヘッドを低減する。
• 単純なシーケンスに限らない、論理積、否定、反復を含む複雑なパターンに一般に適用可能なメカニズムを開発する。
• 先行研究に欠けていた、多様なパターンタイプにわたる遅延評価メカニズムの形式的妥当性を証明する。
• イベント頻度の事前知識がなくても、Tree NFA拡張により適応的かつ頻度に配慮した処理を可能にする。

提案手法

• 入力イベントを入力バッファに保持し、イベント頻度に基づいて必要になるまで処理を延期する遅延評価モデルを導入する。
• 事前に定義されたイベント頻度順序を要するChain NFAトポロジーを設計し、頻度が低い順にイベントを処理することで、有効な部分一致の数を最小限に抑える。
• 実行時において頻度順序を動的に計算するTree NFAを構築し、未知または変化するイベント到着レートに対応できるようにする。
• シーケンス、論理積、否定、反復といった一般的なパターンタイプを、Chain NFAおよびTree NFA構造にコンパイルするための体系的アルゴリズムを提供する。
• 無制限にプリミティブイベントを再利用できる「マッチまでスキップ」戦略を採用した場合のマッチングプロセスの正しさを保証する。
• NFAのトポロジカル構造を活用して、頻度の高いイベントの計算を遅らせる。これにより、アクティブな状態インスタンスの数が減少し、実行時効率が向上する。

実験結果

リサーチクエスチョン

• RQ1 NFAベースのCEPシステムにおいて、イベントを頻度の低い順に処理することで、アクティブな部分一致の数を削減し、パフォーマンス向上とメモリ使用量削減を達成できるか？
• RQ2 複雑なパターン（論理積、否定、反復を含む）をサポートする遅延評価メカニズムを、NFAベースのCEPに形式的に統合できるか？
• RQ3 事前に定義された頻度順序（Chain NFA）と、実行時における動的頻度計算（Tree NFA）の両者を比較した場合、パフォーマンスとメモリのトレードオフはどのようなものか？
• RQ4 頻度の高いイベントの処理を遅らせる戦略を採用することで、すべての可能なマッチに対して正しく保証しつつ、高いスループットと低いメモリ消費量を両立できるか？
• RQ5 歪んだイベント到着分布下において、実世界のワークロードで、提案された遅延NFAモデルが従来のエージャーNFA評価と比べてどのように性能を発揮するか？

主な発見

• 提案された遅延評価メカニズムは、実際の株式取引データにおいて、従来のエージャーNFAベースのCEPシステムと比較して、スループットが最大2桁（100倍）向上する。
• 特に高頻度イベントを処理する際、実行時における有効な部分一致の数が減少するため、メモリ消費量が顕著に削減される。
• 事前に定義されたイベント頻度順序に依存するChain NFAは、頻度の高いイベントの処理を遅らせて、冗長な状態拡張を最小限に抑えることで、効率的な処理を実現する。
• 実行時において最適な処理順序を動的に計算するTree NFAは、イベント頻度が未知または変動する環境に適している。
• シーケンス、論理積、否定、反復を含むすべての標準的なCEPパターンタイプに対して、遅延評価メカニズムの正しさが形式的に証明されている。
• 実験的評価により、Chain NFAおよびTree NFAの両方が、実行時複雑度、メモリ使用量、全体的なシステム効率の面でエージャーNFA評価を上回ることが確認された。