[論文レビュー] Keeping it Short and Simple: Summarising Complex Event Sequences with Multivariate Patterns

Roel Bertens, Jilles Vreeken+1 more|arXiv (Cornell University)|Dec 22, 2015

Time Series Analysis and Forecasting参考文献 27被引用数 5

ひとこと要約

本稿では、最小記述長（MDL）原理を用いて、複雑なイベントシーケンスから簡潔で高品質な多次元順序パターンを発見する効率的なアルゴリズムDittoを提案する。繰り返しパターンを選び、冗長性を最も低減させるようにすることで、重複やギャップ、属性間相関を許容する。これにより、合成データおよび実世界のデータ（センサーネットワークやアノテートテキストを含む）の両方において、主要な構造的・関係的特徴を捉えた簡潔で解釈可能な要約が得られる。

ABSTRACT

We study how to obtain concise descriptions of discrete multivariate sequential data. In particular, how to do so in terms of rich multivariate sequential patterns that can capture potentially highly interesting (cor)relations between sequences. To this end we allow our pattern language to span over the domains (alphabets) of all sequences, allow patterns to overlap temporally, as well as allow for gaps in their occurrences. We formalise our goal by the Minimum Description Length principle, by which our objective is to discover the set of patterns that provides the most succinct description of the data. To discover high-quality pattern sets directly from data, we introduce DITTO, a highly efficient algorithm that approximates the ideal result very well. Experiments show that DITTO correctly discovers the patterns planted in synthetic data. Moreover, it scales favourably with the length of the data, the number of attributes, the alphabet sizes. On real data, ranging from sensor networks to annotated text, DITTO discovers easily interpretable summaries that provide clear insight in both the univariate and multivariate structure.

研究の動機と目的

• 複雑な多次元順序データを要約する課題に取り組み、背後にある構造と相関を捉える代表的なパターンの少数セットを特定すること。
• 小さなデータセットですでに数十億個の頻出パターンが生成される多次元シーケンスにおける頻出パターンの爆発問題を克服すること。
• 完全なパターン空間を探索する非現実的な問題を避けるために、直接的に高品質なパターンセットをデータからマイニングする手法を開発すること。
• 解釈可能でコンactな要約を可能にし、センサーログやアノテートテキストなどの実世界データにおける単変量および多次元の関係を明らかにすること。
• ノイズや複雑なデータ、特に多言語的・多属性的依存関係を示すデータにおいても、偽のパターンを回避しながら、高い正確性を維持するスケーラブルで効率的なソリューションを提供すること。

提案手法

• 最適なパターンセットがデータの総記述長を最小化するという最小記述長（MDL）原理を用いて要約問題を形式化する。
• 複数の属性をカバーでき、時間的ギャップを許容し、重複を認めるパターン言語を導入することで、複雑な多次元相関の検出を可能にする。
• 現在のデータ記述における冗長性を最も低減するパターンペア（またはグループ）を選択することで、逐次的にモデルを構築するDittoアルゴリズムを設計する。
• グリーディで反復的なアプローチを採用：各ステップで、シーケンス内で頻繁に共起するパターンを特定し、MDLスコアを改善する場合にその和集合をモデルに追加する。
• 高い冗長性低減効果を持つパターンにのみ焦点を当てることで、探索空間の大部分をプルーニングする、効率的な候補生成と評価戦略を採用する。
• パターンとデータをMDLに基づく損失なし圧縮方式で符号化し、スコアはパターンの複雑さとデータ圧縮効果のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 MDLに基づくパターンセットマイニングアプローチは、頻出パターンの爆発問題を回避しながら、複雑な多次元順序データを効果的に要約できるか？
• RQ2 Dittoのようなアルゴリズムは、サイズ、サポート、真のパターン数が異なる合成データにおいて、埋め込まれたパターンをどれほど正確に回復できるか？
• RQ3 実世界のシナリオにおいて、データ長、属性数、アルファベットサイズの増加に伴い、Dittoはどの程度スケーリングできるか？
• RQ4 Dittoは、センサーネットワークやアノテートテキストなどの実データから、意味的で解釈可能な多次元パターンを発見でき、言語的またはドメイン固有の構造を明らかにできるか？
• RQ5 ギャップ、重複、属性間パターンを含めることで、単変量または剛性のあるパターンモデルと比較して、要約の質と解釈可能性はどの程度向上するか？

主な発見

• Dittoは、サポート、サイズ、数に関係なく、合成データセットのすべての埋め込みパターンを正確に発見し、偽のパターンを一切生成しない。
• アルゴリズムはデータ長、属性数、アルファベットサイズの増加に伴い良好にスケーリングされ、大規模データセットでも実行時間が数秒で抑えられる。
• アノテートテキスト（例：Moby Dick）において、Dittoは「<noun> of the <noun>」や「the <noun> of」のような非自明な言語的パターンを特定し、著者の文体を明らかにする。
• 多言語金融データでは、Dittoは「relève」（フランス語）、「stellt fest dass」（ドイツ語）、「note」（英語）といった多言語翻訳パターンを正しく特定し、多次元の整合性を示す。
• Sqsなどのベースライン手法と比較して、構造のないデータではDittoの圧縮効果は限定的であるが、これはそのデータに強い多次元構造がないことと整合しており、観察されたギャップパターンとも一致する。
• ギャップ耐性を備えたDittoはノイズに対しても効果的に対処し、過学習を回避する。合成データおよび実データの実験において、偽のパターンが一切検出されないことで、その有効性が裏付けられている。