[論文レビュー] A Guided FP-growth algorithm for multitude-targeted mining of big data

Lior Shabtay, Rami Yaari+1 more|arXiv (Cornell University)|Mar 18, 2018

Data Mining Algorithms and Applications被引用数 6

ひとこと要約

本稿では、大規模データから事前に指定されたアイテムセットのサポートカウントを、FPツリーの的を射ねた単一パス走査によって、効率的に抽出するための新しい手法であるガイド付きFP成長（GFP-growth）アルゴリズムを紹介する。このアルゴリズムは、関連するツリーの枝のみに焦点を当てることで、時間的・メモリ的コストを顕著に削減する。また、不均衡データセットからのマイノリティクラスルール抽出といった応用分野において、性能向上を実現しており、理論的性質を保証するとともに、実験的にも有効性が裏付けられているマイノリティレポートアルゴリズムを提案している。

ABSTRACT

In this paper we present the GFP-growth (Guided FP-growth) algorithm, a novel method for multitude-targeted mining: finding the count of a given large list of itemsets in large data. The GFP-growth algorithm is designed to focus on the specific multitude itemsets of interest and optimizes the time and memory costs. We prove that the GFP-growth algorithm yields the exact frequency-counts for the required itemsets. We show that for a number of different problems, a solution can be devised which takes advantage of the efficient implementation of multitude-targeted mining for boosting the performance. In particular, we study in detail the problem of generating the minority-class rules from imbalanced data, a scenario that appears in many real-life domains such as medical applications, failure prediction, network and cyber security, and maintenance. We develop the Minority-Report Algorithm that uses the GFP-growth for boosting performance. We prove some theoretical properties of the Minority-Report Algorithm and demonstrate its performance gain using simulations and real data.

研究の動機と目的

• 既存の的を射ねたマイニング手法が個々のアイテムセットを独立して処理するため、重複するツリー走査が発生し、計算コストが高くなるという非効率性を解消すること。
• FPツリーから多数の事前に指定されたアイテムセットのサポートカウントを同時にマイニングするためのスケーラブルで汎用的なソリューションを開発すること。
• 医療診断、サイバーセキュリティ、障害予測など、マイノリティクラスルールが極めて重要な実世界の応用分野における性能向上を図ること。
• 完全な再マイニングを伴わずに、以前にマイニングされたFPツリーを活用することで、頻出アイテムセットに対する効率的なインクリメンタルアップデートを可能にすること。
• 制約に基づくマイニングや的を射ねたデータマイニングのための理論的に妥当で計算効率の良い基盤を提供すること。

提案手法

• GFP-growthアルゴリズムは、FPツリーを単一のガイド付き走査で処理し、複数のターゲットアイテムセットのサポートカウントを並列で動的に追跡する。
• ターゲットアイテムセットのプレフィックスパスに基づいて、関係のないツリーの枝をプルーニングするガイド付きマイニング戦略を採用し、全ツリーの探索を回避する。
• 走査中に各ターゲットアイテムセットのサポート値を蓄積する動的カウント構造を維持することで、正確な頻度計算を保証する。
• 条件付きパターンベースやツリー圧縮といった既存のFP成長最適化と統合することで、さらに時間的・メモリ的オーバーヘッドを低減する。
• マイノリティレポートアルゴリズムは、GFP-growthに基づいて構築され、マイノリティクラスの関連ルールを不均衡データセットから優先的に抽出する。これは、珍しいが重要なアイテムセットにマイニングの注力を集中させることで実現する。
• インクリメンタルアップデートのため、GFP-growthは、新しいデータにより頻度が変化する可能性のあるアイテムセットのサポートカウントのみを再計算し、データベース全体の再スキャンを回避する。

実験結果

リサーチクエスチョン

• RQ1 複数のターゲットアイテムセットの正確なサポートカウントを、繰り返し単一アイテムセットマイニングを行うよりも、単一パスのガイド付きFPツリー走査でより効率的に達成できるか？
• RQ2 GFP-growthアルゴリズムは、不均衡データセットからのマイノリティクラス関連ルールマイニングのパフォーマンスをどのように向上させられるか？
• RQ3 頻度の更新が行われるインクリメンタルデータマイニングのシナリオにおいて、GFP-growthは時間的・メモリ的コストをどの程度削減できるか？
• RQ4 GFP-growthアルゴリズムは、サポートカウントの正しさと完全性について、どのような理論的保証を提供するか？
• RQ5 GFP-growthフレームワークは、制約に基づくマイニングをサポートし、他のデータマイニングワークロードを最適化するために拡張可能か？

主な発見

• GFP-growthアルゴリズムは、1回の部分的FP成長走査で、指定されたすべてのアイテムセットの正確なサポートカウントを達成し、重複するツリー走査を排除する。
• 特にターゲットリストが大規模な場合に顕著に、標準的なFP成長と比較して、時間的・メモリ的コストを大幅に削減する。
• GFP-growthに基づくマイノリティレポートアルゴリズムは、不均衡データからのマイノリティクラスルールマイニングにおいて、シミュレーションおよび実世界のデータセットを用いた検証を通じて顕著なパフォーマンス向上を示している。
• 理論的分析により、マイノリティレポートアルゴリズムが、正しくマイノリティクラスルールを特定・順位付けし、サポートの正確性を保証することが確認された。
• GFP-growthフレームワークは、頻度が変化する可能性のあるアイテムセットに限定して処理することで、完全な再マイニングを回避し、効率的なインクリメンタルアップデートを可能にする。
• このアルゴリズムは、既存のFP成長最適化と互換性があり、高度なデータ構造や並列処理技術との統合により、さらなるパフォーマンス向上が可能である。