[論文レビュー] From Complex Event Processing to Simple Event Processing

Sylvain Hallé|arXiv (Cornell University)|Feb 26, 2017

Advanced Database Systems and Queries参考文献 3被引用数 7

ひとこと要約

本稿では、低レベルのスクリプトと複雑なCEPシステムの間のギャップを埋める、軽量で拡張可能かつゼロ設定のイベントストリーム処理エンジン「BeepBeep」を提案する。モジュラーなプロセッサベースのアーキテクチャと、SQLに類似したクエリ言語（eSQL）を導入することで、多様なユースケースに適したシンプルで合成可能かつ拡張可能なストリーム処理を実現。中程度の負荷のワークロードにおいては妥当なパフォーマンスを達成するとともに、カスタマイズ可能なパレットを通じてユーザー定義の拡張をサポートする。

ABSTRACT

Many problems in Computer Science can be framed as the computation of queries over sequences, or "streams" of data units called events. The field of Complex Event Processing (CEP) relates to the techniques and tools developed to efficiently process these queries. However, most CEP systems developed so far have concentrated on relatively narrow types of queries, which consist of sliding windows, aggregation functions, and simple sequential patterns computed over events that have a fixed tuple structure. Many of them boast throughput, but in counterpart, they are difficult to setup and cumbersome to extend with user-defined elements. This paper describes a variety of use cases taken from real-world scenarios that present features seldom considered in classical CEP problems. It also provides a broad review of current solutions, that includes tools and techniques going beyond typical surveys on CEP. From a critical analysis of these solutions, design principles for a new type of event stream processing system are exposed. The paper proposes a simple, generic and extensible framework for the processing of event streams of diverse types; it describes in detail a stream processing engine, called BeepBeep, that implements these principles. BeepBeep's modular architecture, which borrows concepts from many other systems, is complemented with an extensible query language, called eSQL. The end result is an open, versatile, and reasonably efficient query engine that can be used in situations that go beyond the capabilities of existing systems.

研究の動機と目的

• 既存の複雑なイベント処理（CEP）システムの複雑さと硬直性に対処する。これらはしばしば膨大な設定を必要とし、拡張性に欠ける。
• 低レベルのスクリプトと大規模な分散プラットフォームの間の欠落しているニッチを特定する。具体的には、「シンプルイベント処理」のソリューションを提案することで実現する。
• 豊富なクエリ表現力、ユーザー定義の構成要素、ドメイン固有の処理ユニットとのシームレスな統合を可能にするシステムを設計する。
• コアコンponentsを変更せずに、ユーザーがカスタムプロセッサを定義し、動的「パレット」を通じてクエリ言語を拡張できるようにする。
• 軽量なシステムが、基本的なウィンドウ処理や集計をはるかに超える複雑なクエリ、たとえば時系列論理やパターンマッチングを効果的に処理できることを実証する。

提案手法

• 各プロセッサがイベントストリームに対して特定の変換を実行するモジュラーなプロセッサアーキテクチャを基盤とし、合成可能なデータパイプラインを実現する。
• 関係的透明性を確保するため、eSQL と呼ばれる宣言的クエリ言語を設計。これにより、一般的な操作においてSQLとの後方互換性が保証される。
• 「パレット」と呼ばれる動的ロード可能なパッケージを通じて拡張性を実現。これにより、カスタムプロセッサとeSQLの文法拡張がバンドルされる。
• 計算モデルを形式的に規定することで、意味の明確化と独立した実装の可能性を確保する。
• 状態なしおよび状態ありの処理をサポート。複数のストリームおよび時間ウィンドウを跨る複雑なイベント相関処理が可能。
• eSQLに加え、GUIベースのインターフェースを計画。これにより、テキストベースのクエリを書くよりも直感的に処理チェーンを構築できる。

実験結果

リサーチクエスチョン

• RQ1 軽量でゼロ設定のイベント処理システムは、基本的なウィンドウ処理や集計をはるかに超える複雑なクエリ、たとえば時系列論理やパターンマッチングを効果的に処理できるか？
• RQ2 SQLに類似した構文を維持しつつ、ユーザー定義の構成要素をサポートするシンプルで拡張可能なクエリ言語をどのように設計できるか？
• RQ3 どのようなアーキテクチャ的原則が、モジュラーかつ中程度の負荷のストリーム処理タスクに適した効率性を実現できるか？
• RQ4 プロセッサベースのモデルは、パフォーマンスを損なわせることなく、表現力があり合成可能なデータ処理チェーンをどれほどサポートできるか？
• RQ5 実際のユースケースにおいて、既存のCEPプラットフォームと比較して、使いやすさ、表現力、スループットの点で、このシステムはどの程度優れているか？

主な発見

• BeepBeepは、商業的なCEPツールやRDBMSでは困難または不可能な、特に複雑なイベント相関や時系列論理を含むユースケースを効果的に処理できる。
• 標準的なウィンドウ処理やパターンクエリにおいて、BeepBeepはトップクラスの商業システムに比べてスループットは低いが、軽量〜中程度の負荷のワークロードでは妥当な性能を示す。
• eSQL言語により関係的透明性が実現され、標準的なSQLに類似した操作が、馴染みやすく一貫性のある構文で表現可能である。
• パレットを通じたユーザー定義プロセッサおよび文法拡張により、コアエンジンを変更せずに、顕著なカスタマイズ性とドメイン固有の表現力が実現される。
• モジュラーなアーキテクチャにより、明確で読みやすく、合成可能な処理チェーンが実現され、ネットワーク侵入検知からソフトウェアテストまで、多様なタスクに適している。
• ピークパフォーマンスを最優先としていないにもかかわらず、BeepBeepはシンプルで拡張可能なシステムが、複雑な実世界のストリーム処理シナリオを効果的にサポートできることを示している。