[论文解读] Discovery of Maximal Frequent Item Sets using Subset Creation

H K Jnanamurthy|arXiv (Cornell University)|Feb 7, 2013

Data Mining Algorithms and Applications参考文献 8被引用 4

一句话总结

本文提出了一种新颖的算法，通过子集生成直接发现最大频繁项集，绕过传统上先找出最小频繁项集再推导最大项集的两步过程。该方法通过消除冗余计算提高了效率，从而在大型事务型数据库中更快地识别出最大频繁模式。

ABSTRACT

Data mining is the practice to search large amount of data to discover data patterns. Data mining uses mathematical algorithms to group the data and evaluate the future events. Association rule is a research area in the field of knowledge discovery. Many data mining researchers had improved upon the quality of association rule for business development by incorporating influential factors like utility, number of items sold and for the mining of association data patterns. In this paper, we propose an efficient algorithm to find maximal frequent itemset first. Most of the association rule algorithms used to find minimal frequent item first, then with the help of minimal frequent itemsets derive the maximal frequent itemsets, these methods consume more time to find maximal frequent itemsets. To overcome this problem, we propose a new approach to find maximal frequent itemset directly using the concepts of subsets. The proposed method is found to be efficient in finding maximal frequent itemsets.

研究动机与目标

• 解决现有关联规则挖掘算法在先识别最小频繁项集再推导最大项集过程中存在的低效问题。
• 通过消除中间步骤，减少频繁项集挖掘中的计算开销。
• 利用子集关系开发一种直接发现最大频繁项集的方法。
• 通过最小化冗余处理，提升大规模数据挖掘中的性能。

提出的方法

• 该算法通过从现有频繁项集中生成子集来构建候选项集，以直接识别最大项集。
• 其利用了频繁项集是最大项集的性质，即其所有超集均不为频繁项集。
• 该方法通过仅关注可能成为最大项集的子集，避免生成所有可能的项集。
• 它基于子集关系采用剪枝策略，在过程早期即剔除非最大候选项集。
• 该方法将子集生成与频繁项集验证相结合，以确保正确性和完备性。
• 该算法在事务型数据库上仅需单次扫描即可识别最大频繁项集，无需预先生成最小项集。

实验结果

研究问题

• RQ1 能否在不先识别最小频繁项集的情况下直接发现最大频繁项集？
• RQ2 基于子集的构造如何提升最大频繁项集挖掘的效率？
• RQ3 消除中间最小项集计算后，性能提升有多大？
• RQ4 所提出的方法在大型事务型数据库中在多大程度上减少了计算开销？

主要发现

• 所提出的方法成功实现了最大频繁项集的直接发现，避免了必须先计算最小频繁项集的需要。
• 通过使用子集生成，该算法减少了冗余计算，提升了处理速度。
• 与传统的两步算法相比，该方法在执行时间方面表现出更高的效率。
• 通过有效的剪枝策略，该方法在最大频繁项集识别中保持了正确性和完备性。