[论文解读] Mining Frequent Itemsets over Uncertain Databases

Yongxin Tong, Lei Chen+2 more|arXiv (Cornell University)|Aug 1, 2012

Data Mining Algorithms and Applications参考文献 29被引用 4

一句话总结

本文对不确定数据库中的频繁项集挖掘算法进行了全面的实验比较，澄清了两种定义之间的关系——基于期望支持的频繁项集与概率频繁项集。结果表明，在大规模数据库中，这两种定义通过李雅普诺夫中心极限定理紧密关联，从而可利用正态分布进行高效近似，且基于近似的算法在速度和内存效率方面显著优于精确方法。

ABSTRACT

In recent years, due to the wide applications of uncertain data, mining frequent itemsets over uncertain databases has attracted much attention. In uncertain databases, the support of an itemset is a random variable instead of a fixed occurrence counting of this itemset. Thus, unlike the corresponding problem in deterministic databases where the frequent itemset has a unique definition, the frequent itemset under uncertain environments has two different definitions so far. The first definition, referred as the expected support-based frequent itemset, employs the expectation of the support of an itemset to measure whether this itemset is frequent. The second definition, referred as the probabilistic frequent itemset, uses the probability of the support of an itemset to measure its frequency. Thus, existing work on mining frequent itemsets over uncertain databases is divided into two different groups and no study is conducted to comprehensively compare the two different definitions. In addition, since no uniform experimental platform exists, current solutions for the same definition even generate inconsistent results. In this paper, we firstly aim to clarify the relationship between the two different definitions. Through extensive experiments, we verify that the two definitions have a tight connection and can be unified together when the size of data is large enough. Secondly, we provide baseline implementations of eight existing representative algorithms and test their performances with uniform measures fairly. Finally, according to the fair tests over many different benchmark data sets, we clarify several existing inconsistent conclusions and discuss some new findings.

研究动机与目标

• 澄清不确定数据库中两种现有频繁项集定义之间的理论与实证关系：基于期望支持的频繁项集与概率频繁项集。
• 在一致的实验条件下，对八种代表性算法进行公平、统一的性能评估。
• 通过在多样化基准数据集上测试算法并使用标准化指标，解决先前文献中的不一致性。
• 识别并验证精确与近似算法在不确定数据中的新性能模式与效率权衡。

提出的方法

• 为基于期望支持的频繁项集挖掘与概率频繁项集挖掘，提出八种代表性算法的基线实现。
• 在多个基准数据集上，采用统一的评估指标（运行时间、内存使用量），确保公平比较。
• 应用李雅普诺夫中心极限定理，以证明在大规模数据库中，可将项集支持的泊松二项分布近似为正态分布。
• 使用切尔诺夫界（Chernoff bounds）在精确概率算法中早期过滤出不频繁项集，以提高效率。
• 基于期望支持与方差，采用累积分布函数（CDF）近似方法，高效计算频繁概率。
• 通过在具有不同密度与最小支持阈值的合成与真实不确定数据库上进行大量实验，验证研究结果。

实验结果

研究问题

• RQ1 在不确定数据库中，基于期望支持的频繁项集与概率频繁项集的定义之间存在何种关系？
• RQ2 现有算法在不同数据集与配置下是否产生一致的性能排名？
• RQ3 能否基于正态分布近似，高效求解概率频繁项集挖掘问题？
• RQ4 在速度与内存使用方面，精确算法与近似算法之间的相对性能权衡是什么？
• RQ5 在何种条件下，近似算法能达到近乎完美的准确性，原因是什么？

主要发现

• 当事务数超过 10,000 时，基于期望支持的频繁项集与概率频繁项集的定义紧密关联，从而可使用正态分布近似。
• 基于近似的概率频繁项集挖掘算法在大规模数据库中，对大多数项集的频繁概率接近 100%（≈1），验证了理论近似的有效性。
• 基于正态分布的算法在速度与内存效率方面，显著优于基于泊松分布的对应算法。
• 对于基于期望支持的挖掘，在高密度数据库与高最小支持阈值（min sup）下，UApriori 最快；而在稀疏或低最小支持阈值环境下，UH-Mine 表现最佳。
• 在精确概率算法中，DC 在大多数情况下速度最快，但因递归存储结果而产生高内存开销；当条件允许时，DP 比 DC 更快。
• 近似算法在效率与内存使用方面始终显著优于精确算法，表明现有基于期望支持的解决方案可通过计算方差扩展至概率挖掘。