[論文レビュー] Foundation for Frequent Pattern Mining Algorithms Implementation

Tanna Paresh, Yogesh Ghodasara|arXiv (Cornell University)|Feb 8, 2014

Data Mining Algorithms and Applications参考文献 5被引用数 4

ひとこと要約

本論文は、頻度パターンマイニングアルゴリズムの実装に向けた基盤的な枠組みを確立し、AprioriおよびDirect Hashing and Pruning（DHP）手法を分析・比較することで、候補生成、データベーススキャン、トランザクションの刈り込みにおける性能を評価し、関連ルールマイニングにおけるより効率的なアルゴリズムの開発に向けた比較的基盤を提供する。

ABSTRACT

As with the development of the IT technologies, the amount of accumulated data is also increasing. Thus the role of data mining comes into picture. Association rule mining becomes one of the significant responsibilities of descriptive technique which can be defined as discovering meaningful patterns from large collection of data. The frequent pattern mining algorithms determine the frequent patterns from a database. Mining frequent itemset is very fundamental part of association rule mining. Many algorithms have been proposed from last many decades including majors are Apriori, Direct Hashing and Pruning, FP-Growth, ECLAT etc. The aim of this study is to analyze the existing techniques for mining frequent patterns and evaluate the performance of them by comparing Apriori and DHP algorithms in terms of candidate generation, database and transaction pruning. This creates a foundation to develop newer algorithm for frequent pattern mining.

研究の動機と目的

• 大規模データを扱う際の効率性に鑲って、特にAprioriおよびDHPを含む既存の頻度パターンマイニング手法を分析すること。
• 候補生成、データベーススキャン、トランザクションの刈り込みの観点から、AprioriおよびDHPアルゴリズムの性能を評価すること。
• より効率的な頻度パターンマイニングアルゴリズムの設計に向けた比較的基盤を確立すること。
• 現在のアプローチの長所と短所を特定することで、次世代のアルゴリズム開発を支援すること。

提案手法

• 頻度パターンマイニングにおける標準的なパフォーマンス指標を用いて、AprioriおよびDHPアルゴリズムの比較分析を実施する。
• 生成される候補集合の数と計算コストに注目して、候補生成プロセスを評価する。
• 探索空間の縮小と効率性の向上に寄与するデータベースおよびトランザクションの刈り込み技術の有効性を評価する。
• トランザクショナルデータベース上でのアルゴリズム的挙動の理論的および実験的評価に基づく分析を実施する。
• 実行時間、データベーススキャン回数、候補集合サイズなどの指標を用いて、パフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 AprioriおよびDHPアルゴリズムは、候補生成のオーバーヘッドにおいてどのように比較されるか？
• RQ2 データベースおよびトランザクションの刈り込みは、頻度パターンマイニングの効率性にどのような影響を及えるか？
• RQ3 データベーススキャン回数を削減する観点で、AprioriとDHPのどちらのアルゴリズムがより優れたパフォーマンスを示すか？
• RQ4 2つのアルゴリズム間で、候補生成および刈り込みの計算コストはどのように変化するか？

主な発見

• DHPアルゴリズムは、生成される候補集合の数を減らす点でAprioriを上回り、効率性が向上する。
• ハッシュベースの候補刈り込み機構のおかげで、DHPはデータベーススキャン回数を最小限に抑える点で優れた性能を示す。
• DHPにおけるトランザクションの刈り込みは、Aprioriよりも効果的であり、探索空間の縮小がより効率的に行われる。
• 本研究は、DHPがAprioriのレベルワイズアプローチに比べて、候補生成における計算オーバーヘッドを低減することを確認した。