[论文解读] Combined Algorithm for Data Mining using Association rules

Walaa Medhat, Ahmed H. Yousef+1 more|arXiv (Cornell University)|Oct 6, 2014

Data Mining Algorithms and Applications参考文献 14被引用 12

一句话总结

本文提出了一种结合关联规则挖掘的算法，将Apriori算法与多重最小支持约束相结合，以提高效率和准确性。通过实施最大约束以优化项集生成，该方法在不牺牲结果质量的前提下，实现了比传统方法更快的执行速度。

ABSTRACT

Association Rule mining is one of the most important fields in data mining and knowledge discovery. This paper proposes an algorithm that combines the simple association rules derived from basic Apriori Algorithm with the multiple minimum support using maximum constraints. The algorithm is implemented, and is compared to its predecessor algorithms using a novel proposed comparison algorithm. Results of applying the proposed algorithm show faster performance than other algorithms without scarifying the accuracy.

研究动机与目标

• 解决传统Apriori算法在处理不同项集支持阈值时的局限性。
• 提升大规模数据集中关联规则挖掘的计算效率。
• 在减少处理时间的同时保持高准确性，优于基线算法。
• 提出一种结合基础Apriori与基于最大约束的支持优化的混合方法。
• 开发一种新型比较框架，以客观评估关联规则挖掘中的算法性能。

提出的方法

• 调整Apriori算法，使其支持不同项集的多重最小支持阈值。
• 应用最大约束规则以限制搜索空间，减少冗余候选集生成。
• 通过分析项集频率分布，整合支持阈值优化。
• 实施一种剪枝策略，优先处理高频项集，同时尊重用户定义的最小支持阈值。
• 设计一种比较算法，用于与标准Apriori及其相关变体进行性能基准测试。
• 采用逐层生成频繁项集的方法，并在每一层应用基于约束的过滤。

实验结果

研究问题

• RQ1 将Apriori与多重最小支持约束结合，是否能在不降低准确性的前提下提升挖掘效率？
• RQ2 与标准Apriori及其他优化变体相比，所提出的算法在执行时间上的表现如何？
• RQ3 使用最大约束在多大程度上减少了生成的候选项集数量？
• RQ4 该混合方法是否保持或提升了所发现关联规则的质量？
• RQ5 所提出的比较算法在不同数据挖掘场景下评估性能的有效性如何？

主要发现

• 所提出的算法在执行速度上明显优于传统Apriori及其变体。
• 多重最小支持与最大约束的整合显著减少了候选项集的数量。
• 该算法在规则发现中保持了高准确性，结果质量未出现下降。
• 性能提升在不同数据集大小和支持阈值配置下均保持一致。
• 新型比较算法有效量化了性能增益，验证了组合方法的优越性。
• 该方法在处理多样化的事务数据模式时表现出良好的可扩展性与鲁棒性。