[論文レビュー] Discovering general partial orders in event streams

Avinash Achar, Srivatsan Laxman+2 more|ArXiv.org|Feb 7, 2009

Data Mining Algorithms and Applications参考文献 17被引用数 3

ひとこと要約

本稿では、イベントストリームにおける一般部分順序をもつ頻出エピソードを効率的に発見するためのアルゴリズムを提示している。非重複する単射エピソードの出現を追跡するために有限状態オートマトンを用い、組み合わせ的に爆発的な未興味パターンをフィルタリングするための新規な興味の度合いの指標「双方向的証拠」を導入している。合成データストリームを用いた広範なシミュレーションを通じて、ノイズやパターンの複雑さの変動に応じたスケーラビリティと有効性を示している。

ABSTRACT

Frequent episode discovery is a popular framework for pattern discovery in event streams. An episode is a partially ordered set of nodes with each node associated with an event type. Efficient (and separate) algorithms exist for episode discovery when the associated partial order is total (serial episode) and trivial (parallel episode). In this paper, we propose efficient algorithms for discovering frequent episodes with general partial orders. These algorithms can be easily specialized to discover serial or parallel episodes. Also, the algorithms are flexible enough to be specialized for mining in the space of certain interesting subclasses of partial orders. We point out that there is an inherent combinatorial explosion in frequent partial order mining and most importantly, frequency alone is not a sufficient measure of interestingness. We propose a new interestingness measure for general partial order episodes and a discovery method based on this measure, for filtering out uninteresting partial orders. Simulations demonstrate the effectiveness of our algorithms.

研究の動機と目的

• イベントストリームにおける一般部分順序をもつ頻出エピソードを発見するための効率的アルゴリズムの欠如に対処すること。
• 頻度のみを興味の度合いの指標として用いる場合に生じる頻出エピソードの数の組み合わせ的爆発を克服すること。
• シリアル、並列、またはカスタムな部分順序エピソードのサブクラスに特化できる柔軟なフレームワークを構築すること。
• イベントペア間の相対的頻度パターンを捉える新しい興味の度合いの指標「双方向的証拠」を導入し、実証すること。
• 提案手法のスケーラビリティと有効性を、データ長、ノイズレベル、埋め込まれたパターン数の変動に応じて示すこと。

提案手法

• 非重複する単射エピソードの出現を1つのイベントストリーム内で効率的に追跡するために、有限状態オートマトン（FSA）を用いる。
• 最大部分エピソード性を持つ部分順序のサブクラスに特化可能な、候補生成戦略を採用している。これにはシリアルエピソードと並列エピソードが含まれる。
• イベントペアの前向きおよび逆向きの共起頻度の間のエントロピーに類似た乖離度として定義される、新規な興味の度合いの指標「双方向的証拠」を導入している。
• 有効なエピソード出現の時間的範囲を制限するため、有効期限時間制約を適用し、時間的関連性を保証している。
• 二段階の閾値マイニングフレームワークを設計している：1つは最小頻度、もう1つは最小双方向的証拠であり、未興味パターンのフィルタリングに用いる。
• 単一エピソード内でイベントタイプの繰り返しを防ぐ単射エピソード制約を活用することで、アルゴリズムのスケーラビリティを最適化している。

実験結果

リサーチクエスチョン

• RQ1 既存のアルゴリズムが存在しない状況において、1つの長大なイベントストリームにおいて、一般部分順序をもつ頻出エピソードをどのように効率的に発見できるか？
• RQ2 頻出部分順序マイニングにおける組み合わせ的爆発の原因は何か？ また、頻度閾値に依存するのみでなく、どのように緩和できるか？
• RQ3 イベントの順序の逆転に関連して、エピソードパターンの構造的・時間的多様性を捉える新しい興味の度合いの指標を定義可能か？
• RQ4 提案された双方向的証拠指標は、頻度のみに依存する場合と比較して、意味のある部分順序エピソードの選択をどの程度改善するか？
• RQ5 実際の合成イベントストリームにおけるデータ長、ノイズレベル、埋め込まれたパターン数の変動に応じて、アルゴリズムのスケーリング特性はどの程度向上するか？

主な発見

• アルゴリズムはデータ長に対して線形にスケーリングし、22,500イベントでは52秒、90,000イベントでは3分25秒にまで実行時間が延長され、fth/T比は一定を維持している。
• ノイズレベル0.88（ρ = 0.045）では、3ノード候補の急増により、実行時間が11分10秒にピークに達し、ノイズに敏感であることが示された。
• 8つの埋め込み8ノードエピソードに対して、双方向的証拠閾値（H(α)）を0.2から1.0に引き上げると、頻出エピソード数は100から10に減少し、効果的なフィルタリングが確認された。
• 低ノイズ（ρ = 0.02）では、1ノードレベルでの信号イベントのみが頻出するため、候補生成が最小限に抑えられ、実行時間が最小限に保たれた。
• 双方向的証拠が、冗長的または情報のないパターンを効果的に排除するため、高ノイズ環境下でも意味のある部分順序エピソードを効果的に発見できた。
• アルゴリズムは、シリアルエピソードのみ、または並列エピソードのみをマイニングできるように特化可能であり、既存のアプローチを統合する一般性を示している。