[論文レビュー] SASE: Complex Event Processing over Streams

Daniel Gyllstrom, Eugene Wu+4 more|ArXiv.org|Dec 22, 2006

Advanced Database Systems and Queries参考文献 9被引用数 133

ひとこと要約

SASEは、特別なイベント言語と効率的なクエリ処理を用いて、高スループットのリアルタイムRFIDデータストリームを、意思決定に役立つアクション可能なイベントに変換することを目的とした、複雑なイベント処理システムである。本システムは、小売および物流のシナリオにおける複雑なパターンのタイムリーな検出を可能にし、実世界の小売管理環境でのプロトタイプ実装を通じて、強力なパフォーマンスとスケーラビリティを示している。

ABSTRACT

RFID technology is gaining adoption on an increasing scale for tracking and monitoring purposes. Wide deployments of RFID devices will soon generate an unprecedented volume of data. Emerging applications require the RFID data to be filtered and correlated for complex pattern detection and transformed to events that provide meaningful, actionable information to end applications. In this work, we design and develop SASE, a com-plex event processing system that performs such data-information transformation over real-time streams. We design a complex event language for specifying application logic for such transformation, devise new query processing techniques to effi-ciently implement the language, and develop a comprehensive system that collects, cleans, and processes RFID data for deliv-ery of relevant, timely information as well as storing necessary data for future querying. We demonstrate an initial prototype of SASE through a real-world retail management scenario.

研究の動機と目的

• 高速度のRFIDデータストリームを、リアルタイム意思決定に役立つ意味のあるアクション可能なイベントに変換する課題に対処すること。
• RFIDデータ処理およびイベント相関に特化したドメイン特化型の複雑なイベント言語を設計すること。
• データインジェクション、クリーニング、相関、ストレージを両立させるスケーラブルなシステムアーキテクチャを構築すること。これにより、リアルタイム配信と将来のクエリ処理の両方が可能となる。
• 小売管理シナリオにおけるイベント検出およびストリーム処理を含む、実世界の小売環境でのシステムの実現可能性とパフォーマンスを実証すること。

提案手法

• 複雑なイベントパターンを表現するための特別なイベント言語を用いた、リアルタイムRFIDデータストリーム向けに構築された複雑なイベント処理システムSASEの設計。
• 高スループットのデータストリーム上で低遅延のイベント相関およびフィルタリングを最適化した、新規のクエリ処理技術の開発。
• 生RFIDデータを受信し、データクリーニングおよび正規化を実施した後、イベント相関ロジックを適用するシステムパイプラインの実装。
• 将来のクエリ処理および監査可能性を支援するための恒久的ストレージの統合。これにより、リアルタイム処理パフォーマンスを損なわずに保持できる。
• 実世界の条件でのシステム動作とパフォーマンスを検証するため、小売環境でのプロトタイプ導入の実施。
• RFIDを超える多様なイベント処理ワークロードに対応できる拡張性を備えたモジュラーなアーキテクチャの採用。

実験結果

リサーチクエスチョン

• RQ1 リアルタイムRFIDデータストリームを、意味的に明確でアクション可能なイベントに、どのように効率的に変換できるか？
• RQ2 RFIDベースの監視システムにおいて、複雑なイベントパターンを表現するのに最も効果的なクエリ言語の構文は何か？
• RQ3 高スループットのRFIDデータを、イベント相関の正確性を損なわず、低遅延で処理するにはどうすればよいか？
• RQ4 リアルタイムイベント配信と恒久的ストレージの両方を実現するためのシステムアーキテクチャはどのようなものか？
• RQ5 生産環境に近い小売環境における実際のワークロード下で、システムはどのように動作するか？

主な発見

• SASEシステムは、高ボリュームのRFIDデータストリームをリアルタイムで処理し、在庫の不具合や移動パターンといった複雑なイベントの検出に成功している。
• SASEに組み込まれたカスタム複雑イベント言語により、イベントパターンの表現が柔軟に可能となり、開発生産性とシステムの保守性が向上した。
• 最適化されたクエリ実行技術により、低遅延処理が実現されており、時間的に敏感なアプリケーションにとって不可欠である。
• 小売環境でのプロトタイプ評価により、システムがタイムリーかつ関連性の高いイベントを提供できること、同時にデータ品質と整合性を維持できることを確認した。
• リアルタイム処理と恒久的ストレージの統合により、即時のアクション可能性と長期的な分析能力の両方が実現された。