[論文レビュー] Mining Periodic Patterns with a MDL Criterion

Esther Galbrun, Peggy Cellier+3 more|arXiv (Cornell University)|Jul 4, 2018

Data Mining Algorithms and Applications参考文献 18被引用数 4

ひとこと要約

本稿では、データを最も効果的に圧縮するパターン集合を評価・選択するために最小記述長（MDL）原理を用いる、イベントログにおける周期的パターンを抽出するための新規アプローチを提案する。ネストされたサイクルをイベントに適用する表現力のあるパターン言語を定義し、MDLに基づく符号化によりモデルの複雑さとデータへの適合性のバランスを図ることで、現実世界のログに存在する意味のある周期的構造を効果的に同定し、顕著な圧縮効果を達成するとともに、直感的で繰り返し発生するパターンを明らかにする。

ABSTRACT

The quantity of event logs available is increasing rapidly, be they produced by industrial processes, computing systems, or life tracking, for instance. It is thus important to design effective ways to uncover the information they contain. Because event logs often record repetitive phenomena, mining periodic patterns is especially relevant when considering such data. Indeed, capturing such regularities is instrumental in providing condensed representations of the event sequences. We present an approach for mining periodic patterns from event logs while relying on a Minimum Description Length (MDL) criterion to evaluate candidate patterns. Our goal is to extract a set of patterns that suitably characterises the periodic structure present in the data. We evaluate the interest of our approach on several real-world event log datasets.

研究の動機と目的

• 混合信号や不規則性を含む大規模でノイジーなイベントログから意味のある周期的パターンを抽出するという課題に対処すること。
• 従来のパターン抽出アルゴリズムが生み出すパターンの爆発的増加を防ぐために、グローバルに最適なパターン集合に焦点を当てること。
• イベントシーケンス内の周期的構造を最もよく記述するパターン集合を評価・選択するための体系的基準としてMDL原理を活用すること。
• 1日単位のルーティンが週単位で繰り返されるような、ネストされた複合的な周期的行動を表現可能な表現力のあるパターン言語を設計すること。
• 多様な現実世界のイベントログデータセットからMDL最適な周期的パターンを能率的に抽出するアルゴリズムを開発し、実験的に検証すること。

提案手法

• 各サイクルが周期、繰り返し回数、開始時刻によって定義される、単一イベント上のサイクルに基づくパターン言語の定義。
• パターンの再帰的合成を可能とするようにパターン言語を拡張し、ネストされた複合的な周期的構造（例：週単位で繰り返される1日ルーティン）を表現可能にする。
• 入力シーケンスをどの程度効果的に圧縮できるかに基づき、MDL原理を用いてパターン集合に符号長を割り当てる符号化方式の設計。
• 2段階のアルゴリズムを採用：まずデータから単純なサイクルを抽出し、次にMDLスコアを評価しながらそれらを組み合わせてより複雑なパターンを構成する。
• パターンの組み合わせを段階的にテストし、合計符号長を短縮するもののみを保持する、貪欲で反復的な組み合わせ戦略の適用。
• 圧縮効果が向上しない候補の組み合わせを破棄するプリーニング機構の実装により、スケーラビリティと効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 MDL原理は、イベントログ内の潜在的構造を的確に捉える、コンパクトで高品質な周期的パターン集合を選択するために効果的に適用可能か？
• RQ2 1日ルーティンが週単位で繰り返されるような、複雑でネストされた周期的行動を表現できるように、パターン言語をどのように設計できるか？
• RQ3 従来の抽出手法と比較して、MDLに基づくパターン選択は、パターン数を削減しつつも、データ圧縮性能を維持または向上させられるか、その程度はいかほどか？
• RQ4 ノイズ、不規則性、複雑さの程度が異なる現実世界のイベントログに対して、このアルゴリズムはどの程度の性能を示すか？
• RQ5 特にネスト型や複合型のパターンを含む、意味のある周期的パターンは、多様なログデータセットから信頼性を持って抽出可能か？

主な発見

• 提案手法であるMDLに基づくアプローチは、現実世界のイベントログデータセットにおいて、顕著なデータ圧縮を達成する周期的パターン集合を効果的に同定しており、意味のあるパターンを効果的に選択する基準の有効性を示している。
• アルゴリズムは、人間が直感的に理解可能なパターン（例：24時間ごとに起床しコーヒーを準備するルーティン）や、システムレベルのパターン（例：繰り返し発生するコンテキストスイッチやプロセス活性化）を抽出している。
• 実行時間は秒から数時間にわたり大きく変動し、特に第二段階（パターンの組み合わせ）が最も計算コストが高く、初期に多数の長周期サイクルが抽出された場合に顕著になる。
• パターン言語の柔軟性とMDL評価の特性により、再発のギャップや変動する発生間隔といったノイズや不規則性に対しても、本手法は頑健である。
• アルゴリズムの性能は、初期サイクルの数と長さに敏感であり、より多くの長周期サイクルが抽出されると、組み合わせラウンドの計算コストが著しく上昇する。
• 圧縮比と符号長の削減の両面で、従来の手法に比べてパターン数を削減しつつも、圧縮性能を維持または向上させていることから、本手法が優れていることが裏付けられている。