[論文レビュー] Discovery of Maximal Frequent Item Sets using Subset Creation

H K Jnanamurthy|arXiv (Cornell University)|Feb 7, 2013

Data Mining Algorithms and Applications参考文献 8被引用数 4

ひとこと要約

本稿では、最小頻度アイテムセットを事前に特定する伝統的な2段階プロセスを回避し、部分集合の作成を用いて直接最大頻度アイテムセットを発見する新しいアルゴリズムを提案する。この手法は、余分な計算を排除することで効率を向上させ、大規模なトランザクションデータベースにおける最大頻度パターンの特定を高速化する。

ABSTRACT

Data mining is the practice to search large amount of data to discover data patterns. Data mining uses mathematical algorithms to group the data and evaluate the future events. Association rule is a research area in the field of knowledge discovery. Many data mining researchers had improved upon the quality of association rule for business development by incorporating influential factors like utility, number of items sold and for the mining of association data patterns. In this paper, we propose an efficient algorithm to find maximal frequent itemset first. Most of the association rule algorithms used to find minimal frequent item first, then with the help of minimal frequent itemsets derive the maximal frequent itemsets, these methods consume more time to find maximal frequent itemsets. To overcome this problem, we propose a new approach to find maximal frequent itemset directly using the concepts of subsets. The proposed method is found to be efficient in finding maximal frequent itemsets.

研究の動機と目的

• 最小頻度アイテムセットを事前に特定する必要がある従来の連合ルールマイニングアルゴリズムの非効率性を是正すること。
• 中間ステップを排除することで、頻度アイテムセットマイニングにおける計算オーバーヘッドを低減すること。
• 部分集合関係を用いた直接的な最大頻度アイテムセット発見手法の開発。
• 大規模なデータマイニングにおいて、余分な処理を最小限に抑えることでパフォーマンスを向上させること。

提案手法

• アルゴリズムは、既存の頻度アイテムセットから部分集合を生成することで、候補アイテムセットを構築し、直接的に最大アイテムセットを特定する。
• 頻度アイテムセットが最大であるとは、その上位集合がすべて頻度が低い場合に限ることを利用している。
• すべての可能なアイテムセットを生成するのではなく、実際に最大である可能性のある部分集合に限定して処理を行う。
• 部分集合関係に基づくプルーニング戦略を用いて、非最大候補を処理の初期段階で早期に除外する。
• 正しくかつ完全に処理できるよう、部分集合の作成と頻度アイテムセットの検証を統合している。
• アルゴリズムは、最小アイテムセットの生成を経ずに、トランザクションデータベースを1回のスキャンで最大頻度アイテムセットを特定する。

実験結果

リサーチクエスチョン

• RQ1 最小頻度アイテムセットを事前に特定する必要なく、最大頻度アイテムセットを直接発見できるか？
• RQ2 部分集合に基づく構築手法は、最大頻度アイテムセットマイニングの効率をどのように向上させるか？
• RQ3 中間の最小アイテムセット計算を排除することで、どの程度のパフォーマンス向上が達成されるか？
• RQ4 大規模なトランザクションデータベースにおいて、提案手法が計算オーバーヘッドをどの程度低減できるか？

主な発見

• 提案手法は、最小頻度アイテムセットを事前に計算する必要なく、直接的に最大頻度アイテムセットを発見することに成功した。
• 部分集合の作成を用いることで、余分な計算を削減し、処理速度を向上させた。
• 実行時間の観点から、従来の2段階アルゴリズムに比べ、本手法は高い効率性を示した。
• 効果的なプルーニングにより、正しくかつ完全に最大頻度アイテムセットを特定する能力を維持した。