[论文解读] Mining All Non-Derivable Frequent Itemsets

Toon Calders, Bart Goethals|ArXiv.org|Jun 3, 2002

Data Mining Algorithms and Applications参考文献 12被引用 24

一句话总结

本文提出了一种新颖的框架，通过使用一组完整的推理规则推导出紧密的支持度边界，从而挖掘所有不可推导出的频繁项集（NDIs），实现频繁项集的最小化、简洁化表示。该方法通过基于推理的支持度推导避免了对整个数据库的扫描，显著减少了结果集大小，并优于传统算法。

ABSTRACT

Recent studies on frequent itemset mining algorithms resulted in significant performance improvements. However, if the minimal support threshold is set too low, or the data is highly correlated, the number of frequent itemsets itself can be prohibitively large. To overcome this problem, recently several proposals have been made to construct a concise representation of the frequent itemsets, instead of mining all frequent itemsets. The main goal of this paper is to identify redundancies in the set of all frequent itemsets and to exploit these redundancies in order to reduce the result of a mining operation. We present deduction rules to derive tight bounds on the support of candidate itemsets. We show how the deduction rules allow for constructing a minimal representation for all frequent itemsets. We also present connections between our proposal and recent proposals for concise representations and we give the results of experiments on real-life datasets that show the effectiveness of the deduction rules. In fact, the experiments even show that in many cases, first mining the concise representation, and then creating the frequent itemsets from this representation outperforms existing frequent set mining algorithms.

研究动机与目标

• 通过逻辑推理检测可推导出的模式，识别并消除冗余的频繁项集。
• 开发一组完整的推理规则，基于子集支持度推导候选项集的紧密支持度区间，而无需扫描数据库。
• 构建所有频繁项集的最小表示——称为不可推导出的频繁项集（NDIs），以保留所有关键信息。
• 证明基于简洁NDI表示的挖掘与支持度推导，比标准频繁项集挖掘更快。
• 建立NDIs与现有简洁表示（如闭集、自由集、无析取集）之间的理论与实证联系。

提出的方法

• 提出形式化的推理规则框架（R_I(S)），基于子集支持度推导项集的支持度边界。
• 使用I-投影隔离相关事务，无需完整扫描数据库即可高效计算支持度边界。
• 引入不可推导出的频繁项集（NDIs）的概念，作为可从中推导出所有频繁项集的最小集合。
• 采用递归推理机制，推导出不属于NDI集合的所有频繁项集的确切支持度值。
• 将规则应用到指定深度（例如深度1或2），在计算成本与表示大小之间取得平衡，完整深度下保证完备性。
• 将MAXMINER和PASCAL中的已知优化技术整合到框架中，表明它们是所提规则的特例。

实验结果

研究问题

• RQ1 能否定义一组完整且正确的推理规则，基于子集支持度推导候选项集的支持度边界？
• RQ2 如何利用这些规则构建所有频繁项集的最小化、无损表示？
• RQ3 在实践中，基于简洁NDI表示的挖掘在多大程度上优于传统频繁项集挖掘？
• RQ4 所提出的推理规则与现有简洁表示（如闭集、自由集、无析取集）之间有何关系？
• RQ5 与直接数据库扫描相比，基于推理的支持度推导能带来多大的性能提升？

主要发现

• 所提出的推理规则既正确又完备，能够基于子集支持度对所有候选项集实现精确的支持度推导。
• 不可推导出的频繁项集（NDIs）集合构成了所有频繁项集的最小化、无损表示，显著减少了结果集大小。
• 实验表明，先挖掘NDI表示，再推导完整支持度，其性能在许多真实数据集中优于现有频繁项集挖掘算法。
• 即使仅使用深度为1或2的规则，该方法也能达到接近最优的性能，表明进一步加深规则应用的边际收益有限。
• 该框架统一并推广了先前方法（如PASCAL和MAXMINER），表明它们是所提规则系统的特例。
• 理论分析证实，NDIs是无析取集的真子集，且闭项集的大小始终不大于自由集。