[論文レビュー] Utility-driven Mining of Contiguous Sequences

Chunkai Zhang, Quanjian Dai+4 more|arXiv (Cornell University)|Oct 30, 2021

Data Mining Algorithms and Applications参考文献 46被引用数 4

ひとこと要約

本稿では、複雑で多アイテムのシーケンスデータベースにおける連続的連続パターン（UCSPM）の利便性駆動型マイニングのための新規アルゴリズムFUCPMを提案する。シーケンス情報リストとインスタンスチェーンというコンパクトなデータ構造と、シーケンス加重およびアイテム拡張の利便性上限に基づく2つのプルーニング戦略（GUIPおよびLUIP）を活用することで、最先端の手法と比較して優れた効率性とスケーラビリティを達成し、実行時間とメモリ使用量を顕著に削減するとともに、連続パターンに限定することで結果をより簡潔にした。

ABSTRACT

Recently, contiguous sequential pattern mining (CSPM) gained interest as a research topic, due to its varied potential real-world applications, such as web log and biological sequence analysis. To date, studies on the CSPM problem remain in preliminary stages. Existing CSPM algorithms lack the efficiency to satisfy users' needs and can still be improved in terms of runtime and memory consumption. In addition, existing algorithms were developed to deal with simple sequence data, working with only one event at a time. Complex sequence data, which represent multiple events occurring simultaneously, are also commonly observed in real life. In this paper, we propose a novel algorithm, fast utility-driven contiguous sequential pattern mining (FUCPM), to address the CSPM problem. FUCPM adopts a compact sequence information list and instance chain structures to store the necessary information of the database and candidate patterns. For further efficiency, we develop the global unpromising items pruning and local unpromising items pruning strategies, based on sequence-weighted utilization and item-extension utilization, to reduce the search space. Extensive experiments on real-world and synthetic datasets demonstrate that FUCPM outperforms the state-of-the-art algorithms and is scalable enough to handle complex sequence data.

研究の動機と目的

• 既存の連続的連続パターンマイニング（CSPM）アルゴリズムが、高い実行時間とメモリ消費量に苦しんでおり、複雑で多アイテムのシーケンスをサポートしていないという限界を解消すること。
• 従来の連続パターンマイニング（SPM）およびハイユーティリティ連続パターンマイニング（HUSPM）の欠点を克服すること。これらは頻度や利便性のみに依存しており、連続性を強制しないため、解釈性が低いか現実的でないパターンが得られる。
• 連続的ハイユーティリティ連続パターン（HUCSP）のみを発見する効率的でスケーラブルなアルゴリズムを開発すること。これにより、トラジェクトリーやDNA配列などの現実世界の連続性を反映したパターンが得られる。
• 上界利便性推定に基づく新規プルーニング戦略を用いて、完全性を損なわせることなく探索空間を削減することで、マイニング効率を向上させること。

提案手法

• FUCPMは、候補パターンの利便性および上界値をコンパクトに格納・効率的に計算するために、シーケンス情報リストとインスタンスチェーンというデータ構造を採用する。
• シーケンスのプレフィックスが取りうる最大利便性を推定するための「シーケンス加重利便性（SWU）」を導入し、有望でない候補のグローバルプルーニングを可能にする。
• 局所的プルーニングのためのよりタイトな上界として「アイテム拡張利便性（IEU）」を提案し、パターン拡張時の探索空間の削減を改善する。
• グローバルな有望でないアイテムプルーニング（GUIP）戦略はSWUを用いて早期に有望でないアイテムを削除する。一方、ローカルな有望でないアイテムプルーニング（LUIP）戦略は、パターン拡張中にIEUを適用し、さらに探索空間を削減する。
• FUCPMは、各アイテムセットを同時発生イベントの集合として扱うことで、車両の軌道や生物学的配列などの複雑な現実世界のデータをサポートする。
• FUCPMは、データセットサイズに比例して実行時間とメモリ消費量が線形に増加するように設計されており、利便性閾値が上昇してもスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 利便性駆動型連続的連続パターンマイニングアルゴリズムとして、実行時間とメモリ効率の面で、既存の最先端のCSPMおよびHUSPM手法を上回ることができるか？
• RQ2 提案されたGUIPおよびLUIPプルーニング戦略は、連続的ハイユーティリティ連続パターンの探索空間をどれほど効果的に削減できるか？
• RQ3 FUCPMは、現実世界および合成の多アイテムシーケンスデータにおいて、データセットサイズと複雑さの増加に伴い、どの程度スケーラブルか？
• RQ4 FUCPMの出力の簡潔さは、非連続パターンを含む一般のHUSPMアルゴリズムと比べてどの程度優れているか？

主な発見

• FUCPMは、6つの実世界データセットすべてにおいて最先端のアルゴリズムProUMを上回り、全ケースで2秒未満でマイニングを完了した。一方、ProUMは3つのデータセット（BMS、Kosarak10k、FIFA）で2時間以内に処理を終了できなかった。
• Bibleデータセットにおいて、FUCPMはメモリ使用量を69％削減（417.35 MB 対 1352.71 MB）し、実行時間を93％削減（2.12秒 対 29.20秒）した。
• アブレーションスタディにより、GUIPおよびLUIPの両方がプルーニングに寄与していることが確認され、特にLUIPが探索空間の削減においてより顕著な効果を示した。
• FUCPMは線形スケーラビリティを示した。データセットサイズが10Kから400Kに増加しても、実行時間とメモリ使用量はほぼ線形に増加し、優れたスケーラビリティを示した。
• 発見されたHUCSPの数は、一般のHUSPM（例：Bibleで36対2,760）と比較して顕著に少なかった。これは、連続性制約のおかげで結果が簡潔であることを確認した。
• 合成データセットにおいて、FUCPMは総利便性に基づく適応的閾値のおかげで、データセットサイズの増加にもかかわらず、候補およびHUCSPの数の増加が最小限に抑えられ、安定したパフォーマンスを維持した。