[論文レビュー] Efficient Candidacy Reduction For Frequent Pattern Mining

Mohammad H. Nadimi-Shahraki, Norwati Mustapha+2 more|arXiv (Cornell University)|Jan 13, 2010

Data Mining Algorithms and Applications参考文献 17被引用数 5

ひとこと要約

本稿では、頻度パターンマイニングにおける候補パターンの数を著しく削減する、新規の候補ヘッドセット（H）手法を提案する。支持度カウント比較の回数を大幅に削減することで、計算コストを著しく低減する。すべての頻度パターンを導出可能な最小かつ完全な候補セットを生成することで、正確性を損なわず効率を向上させる。実験結果により、候補生成と計算オーバーヘッドの大幅な削減が確認された。

ABSTRACT

Certainly, nowadays knowledge discovery or extracting knowledge from large amount of data is a desirable task in competitive businesses. Data mining is a main step in knowledge discovery process. Meanwhile frequent patterns play central role in data mining tasks such as clustering, classification, and association analysis. Identifying all frequent patterns is the most time consuming process due to a massive number of candidate patterns. For the past decade there have been an increasing number of efficient algorithms to mine the frequent patterns. However reducing the number of candidate patterns and comparisons for support counting are still two problems in this field which have made the frequent pattern mining one of the active research themes in data mining. A reasonable solution is identifying a small candidate pattern set from which can generate all frequent patterns. In this paper, a method is proposed based on a new candidate set called candidate head set or H which forms a small set of candidate patterns. The experimental results verify the accuracy of the proposed method and reduction of the number of candidate patterns and comparisons.

研究の動機と目的

• 頻度パターンマイニングにおける膨大な候補パターンセットの生成および評価にかかる高コストな計算を軽減すること。
• 頻度パターンマイニングにおける主なボトル neck である、候補パターン数およびサポートカウント比較回数を削減すること。
• 候補セットのサイズを最小限に抑えつつ完全性と正確性を維持する手法を開発すること。
• すべての頻度パターンを効率的に生成できる、新たな候補セット「候補ヘッドセット（H）」を提案すること。

提案手法

• すべての頻度パターンを導出可能な最小のパターン集合である候補ヘッドセット（H）を導入する。
• パターンの拡張および閉包性質に基づくプルーニング戦略を用いて、候補生成を制限する。
• H から始める階層的なパターン生成メカニズムを採用し、すべての可能な頻度パターンを探索する。
• H およびその拡張部分に対してのみサポートカウントを実行するメカニズムを採用し、重複計算を削減する。
• 頻度パターンの構造的性質を活用して、早期に有望でない候補をフィルタリングするプロセスを実装する。
• 実世界のデータセットを用いて手法を検証し、ベースラインアルゴリズムと比較して候補セットサイズおよび処理時間を評価する。

実験結果

リサーチクエスチョン

• RQ1 すべての頻度パターンを生成できる最小の候補セットを構築可能か。これにより探索空間が縮小されるか。
• RQ2 従来手法と比較して、候補ヘッドセット（H）は候補パターン数をどの程度削減できるか。
• RQ3 提案手法は、頻度パターンマイニングにおけるサポートカウント比較回数をどの程度削減できるか。
• RQ4 候補パターンの削減が、マイニングされた頻度パターンの完全性や正確性に悪影響を及えるか。

主な発見

• 提案された候補ヘッドセット（H）手法は、従来手法と比較して候補パターン数を顕著に削減した。
• すべての頻度パターンを100%の正確性で特定することができ、完全性が保証された。
• 実験結果により、サポートカウント比較回数が明確に減少し、全体のマイニング効率が向上した。
• 候補セットサイズの削減により、特に大規模なトランザクションデータベースにおいて処理時間が短縮された。
• スケーラビリティおよび計算オーバーヘッドの観点から、ベースラインアルゴリズムを上回る性能を示した。
• 多様なデータセットにおいてもロバストであり、一貫した性能向上を示した。