[论文解读] Efficient Candidacy Reduction For Frequent Pattern Mining

Mohammad H. Nadimi-Shahraki, Norwati Mustapha+2 more|arXiv (Cornell University)|Jan 13, 2010

Data Mining Algorithms and Applications参考文献 17被引用 5

一句话总结

本文提出了一种新颖的候选头集（H）方法，以大幅减少频繁模式挖掘中的候选模式数量，显著降低支持度计数比较的次数。通过生成一个最小但完整的候选集，该方法能够推导出所有频繁模式，在不牺牲准确性的前提下提高效率，实验结果验证了其在候选生成和计算开销方面均实现显著减少。

ABSTRACT

Certainly, nowadays knowledge discovery or extracting knowledge from large amount of data is a desirable task in competitive businesses. Data mining is a main step in knowledge discovery process. Meanwhile frequent patterns play central role in data mining tasks such as clustering, classification, and association analysis. Identifying all frequent patterns is the most time consuming process due to a massive number of candidate patterns. For the past decade there have been an increasing number of efficient algorithms to mine the frequent patterns. However reducing the number of candidate patterns and comparisons for support counting are still two problems in this field which have made the frequent pattern mining one of the active research themes in data mining. A reasonable solution is identifying a small candidate pattern set from which can generate all frequent patterns. In this paper, a method is proposed based on a new candidate set called candidate head set or H which forms a small set of candidate patterns. The experimental results verify the accuracy of the proposed method and reduction of the number of candidate patterns and comparisons.

研究动机与目标

• 为解决频繁模式挖掘中生成和评估海量候选模式集合所带来的高计算成本问题。
• 减少候选模式数量和支持度计数比较次数，这两者是频繁模式挖掘中的主要瓶颈。
• 开发一种方法，在最小化候选集规模的同时保持完整性和准确性。
• 提出一种新的候选集，称为候选头集（H），可高效生成所有频繁模式。

提出的方法

• 引入候选头集（H），即一个可从中推导出所有频繁模式的最小模式集合。
• 基于模式扩展和闭包性质设计剪枝策略，以限制候选生成。
• 采用分层模式生成机制，从H出发探索所有可能的频繁模式。
• 仅对H集合及其扩展实施支持度计数机制，减少冗余计算。
• 通过利用频繁模式的结构特性，实施过滤过程，提前剔除无前景的候选。
• 使用真实世界数据集验证该方法，并与基线算法对比候选集大小和处理时间。

实验结果

研究问题

• RQ1 能否构建一个最小候选集，使其仍能生成所有频繁模式，从而缩小搜索空间？
• RQ2 与传统方法相比，候选头集（H）在减少候选模式数量方面有多高效？
• RQ3 所提出的方法在频繁模式挖掘中能将支持度计数比较次数减少到何种程度？
• RQ4 候选模式数量的减少是否会影响所挖掘频繁模式的完整性和准确性？

主要发现

• 所提出的候选头集（H）方法相比传统方法显著减少了候选模式数量。
• 该方法在识别所有频繁模式方面保持100%的准确性，确保了完整性。
• 实验结果表明，支持度计数比较次数明显减少，整体挖掘效率得到提升。
• 候选集规模的减小导致执行时间更快，尤其在大型事务型数据库上表现更优。
• 在可扩展性和计算开销方面，该方法优于基线算法。
• 该方法在多种数据集上均表现出鲁棒性，持续实现性能提升。