[论文解读] A Frequent Closed Itemsets Lattice-based Approach for Mining Minimal Non-Redundant Association Rules

Bay Vo, Bac Le|arXiv (Cornell University)|Aug 26, 2011

Data Mining Algorithms and Applications参考文献 27被引用 4

一句话总结

本文提出一种基于格的高效方法，利用频繁闭项集（FCI）挖掘最小非冗余关联规则（MNAR）。通过采用CHARM-L算法构建频繁闭项集格（FCIL），该方法显著加速了规则生成过程，相比传统的基于频繁项集格的方法，计算时间大幅减少。实验结果表明，性能提升显著。

ABSTRACT

There are many algorithms developed for improvement the time of mining frequent itemsets (FI) or frequent closed itemsets (FCI). However, the algorithms which deal with the time of generating association rules were not put in deep research. In reality, in case of a database containing many FI/FCI (from ten thousands up to millions), the time of generating association rules is much larger than that of mining FI/FCI. Therefore, this paper presents an application of frequent closed itemsets lattice (FCIL) for mining minimal non-redundant association rules (MNAR) to reduce a lot of time for generating rules. Firstly, we use CHARM-L for building FCIL. After that, based on FCIL, an algorithm for fast generating MNAR will be proposed. Experimental results show that the proposed algorithm is much faster than frequent itemsets lattice-based algorithm in the mining time.

研究动机与目标

• 为解决关联规则生成中的性能瓶颈问题，该过程的耗时往往超过频繁项集（FI）或频繁闭项集（FCI）挖掘的时间。
• 通过聚焦于最小非冗余规则（MNAR），减少关联规则中的冗余，使规则更具意义且更易解释。
• 设计一种基于格的快速算法，通过利用FCIL的结构特性，生成MNAR。
• 提升在包含数万至数百万个频繁闭项集的大数据集中的可扩展性与效率。

提出的方法

• 使用CHARM-L算法构建频繁闭项集格（FCIL），以表示所有频繁闭项集及其包含关系。
• 利用格结构系统地探索并生成关联规则，避免冗余推导。
• 基于格结构应用剪枝策略，通过确保仅保留不被更强、更具体的规则所蕴含的最小规则，从而消除冗余规则。
• 利用FCIL的层次化与闭包特性，避免穷举式规则枚举，降低计算开销。
• 设计一种规则生成算法，根据规则的支持度和置信度阈值，选择自顶向下或自底向上的方式遍历FCIL。

实验结果

研究问题

• RQ1 当处理大量频繁闭项集时，如何降低关联规则生成的时间复杂度？
• RQ2 频繁闭项集格（FCIL）的哪些结构特性可用于消除冗余关联规则？
• RQ3 基于格的方法在最小非冗余规则的规则生成速度上，是否能优于传统的基于频繁项集格的方法？
• RQ4 使用FCIL在多大程度上提升了从大型数据库中挖掘最小非冗余关联规则的可扩展性？

主要发现

• 所提出的基于格的最小非冗余关联规则（MNAR）挖掘方法，相比传统的基于频繁项集格的方法，显著减少了规则生成时间。
• FCIL结构的使用实现了高效的遍历与剪枝，可在不损失规则完整性的前提下消除冗余规则。
• 实验结果表明，所提算法在规则生成性能上表现更优，尤其在频繁闭项集数量较多的数据集中优势明显。
• 该方法在大规模数据库上表现出良好的可扩展性，能高效处理包含数万至数百万个频繁闭项集的数据集。