[論文レビュー] Streaming Algorithms for Pattern Discovery over Dynamically Changing Event Sequences

Debprakash Patnaik, Naren Ramakrishnan+2 more|arXiv (Cornell University)|May 21, 2012

Data Mining Algorithms and Applications参考文献 16被引用数 8

ひとこと要約

本稿では、動的変化するイベント系列において、バッチ処理によるスライディングウィンドウモデルを用いてトップ-k頻度イベントを効率的に発見するストリーミングアルゴリズムを提案する。境界集合を活用してバッチ間で計算を再利用することで、候補生成コストを $F^2$ から $FF_{\text{new}}$ に削減し、周囲の周波数が良好に分離されている条件下で理論的近似保証を達成するとともに、実データおよび合成データ上で優れた実験的性能を示した。

ABSTRACT

Discovering frequent episodes over event sequences is an important data mining task. In many applications, events constituting the data sequence arrive as a stream, at furious rates, and recent trends (or frequent episodes) can change and drift due to the dynamical nature of the underlying event generation process. The ability to detect and track such the changing sets of frequent episodes can be valuable in many application scenarios. Current methods for frequent episode discovery are typically multipass algorithms, making them unsuitable in the streaming context. In this paper, we propose a new streaming algorithm for discovering frequent episodes over a window of recent events in the stream. Our algorithm processes events as they arrive, one batch at a time, while discovering the top frequent episodes over a window consisting of several batches in the immediate past. We derive approximation guarantees for our algorithm under the condition that frequent episodes are approximately well-separated from infrequent ones in every batch of the window. We present extensive experimental evaluations of our algorithm on both real and synthetic data. We also present comparisons with baselines and adaptations of streaming algorithms from itemset mining literature.

研究の動機と目的

• 従来のマルチパスアルゴリズムが非効率となる、高速度かつ動的に変化するイベントストリームにおける頻度パターンのマイニングという課題に対処すること。
• 全データストリームを保存せずに、最近のイベントバッチのスライディングウィンドウ上でリアルタイムにトップ-k頻度イベントを発見できること。
• 前回のバッチからの作業を境界集合データ構造を用いて再利用することで、候補生成の計算負荷を低減すること。
• 各バッチにおいて頻度パターンが頻度の低いものから概ね良好に分離されているという仮定の下で、理論的近似保証を提供すること。
• パターンが時間経過とともに継続的に出現する「$(v,k)$-恒続的パターン」の概念を導入することで、恒久的なパターン発見を可能にすること。

提案手法

• イベントストリームを固定サイズのバッチに分割し、パターン発見に用いる最近のバッチのスライディングウィンドウを維持する。
• 連続するバッチ間で頻度パターンを効率的に追跡・再利用できる境界集合データ構造を採用する。
• アプローチのアプローチに類似したレベルワイズな手法をイベントマイニングに適用するが、候補生成を現在のバッチで新たに頻度が高いパターンに限定することで最適化する。
• トップ-kイベントセットを定義するために、$k^{\text{th}}$ 番目に頻度が高いイベントに基づく周波数閾値を用い、恣意的なサポート閾値を避ける。
• ストリーミング環境に対応するため、最小長制約を伴う時間ウィンドウにおける最大周波数に基づく新しい周波数測定法を導入する。
• 連続する $k$ 個のウィンドウで少なくとも $v$ 回以上出現するパターンを特定できる「$(v,k)$-恒続的パターン」の概念を提案する。

実験結果

リサーチクエスチョン

• RQ1 限られたメモリとリアルタイム処理制約のもとで、ストリーミング環境において頻度イベントのマイニングを効率的に行うことは可能か？
• RQ2 データストリームにおける連続するバッチ間で頻度イベントをマイニングする際、候補生成のオーバーヘッドをどのように低減できるか？
• RQ3 動的データ条件下で、トップ-kイベント発見の正確性についてどのような理論的保証を提供できるか？
• RQ4 ストリーミングイベント系列において、一時的でバースト的なパターンと、持続的なパターンをどのように区別できるか？
• RQ5 精度と効率の観点から、提案手法は既存のストリーミングアイテムセットマイニング手法をどの程度上回るか？

主な発見

• 境界集合をバッチ間で再利用することで、候補生成コストを $F^2$ から $FF_{\text{new}}$ に削減し、計算効率が著しく向上した。
• 各バッチにおいて頻度パターンが頻度の低いものから概ね良好に分離されているという条件下で、理論的近似保証を達成した。
• 実データおよび合成データを用いた実験的評価では、厳密なメモリ制限と時間制限の下でも、トップ-k頻度イベントの特定において高い正確性を維持した。
• 計算効率およびパターン検出の正確性の両面で、ベースライン手法およびアイテムセットマイニング文献からのアダプテーション手法を上回った。
• $(v,k)$-恒続的パターンの導入により、神経活動やネットワークトラフィックの異常など、動的データにおける安定的かつ繰り返し出現するパターンの特定が効果的に行えるようになった。
• 本手法はイベントに限らず、類似した構造的・時間的制約を持つ他のパターンクラスに対しても一般化可能である。