[论文解读] Frequent Item-set Mining without Ubiquitous Items

Ran M. Bittmann, Philippe Nemery+3 more|arXiv (Cornell University)|Mar 29, 2018

Data Mining Algorithms and Applications参考文献 1被引用 3

一句话总结

本文提出了一种新颖的频繁项集挖掘（FIM）方法，可缓解普遍项（在几乎所有事务中均出现的项）引起的性能下降与收敛性问题。通过在挖掘前过滤掉此类项，该方法在对结果显著性影响极小的情况下显著提升了计算效率，从而在不牺牲有意义规则发现的前提下实现了更快、更可扩展的FIM。

ABSTRACT

Frequent Item-set Mining (FIM), sometimes called Market Basket Analysis (MBA) or Association Rule Learning (ARL), are Machine Learning (ML) methods for creating rules from datasets of transactions of items. Most methods identify items likely to appear together in a transaction based on the support (i.e. a minimum number of relative co-occurrence of the items) for that hypothesis. Although this is a good indicator to measure the relevance of the assumption that these items are likely to appear together, the phenomenon of very frequent items, referred to as ubiquitous items, is not addressed in most algorithms. Ubiquitous items have the same entropy as infrequent items, and not contributing significantly to the knowledge. On the other hand, they have strong effect on the performance of the algorithms and sometimes preventing the convergence of the FIM algorithms and thus the provision of meaningful results. This paper discusses the phenomenon of ubiquitous items and demonstrates how ignoring these has a dramatic effect on the computation performances but with a low and controlled effect on the significance of the results.

研究动机与目标

• 解决频繁项集挖掘（FIM）中因普遍项在几乎所有事务中出现而引起的性能瓶颈问题。
• 在不显著降低挖掘出的项集质量或显著性的情况下，减少普遍项引入的计算开销。
• 通过消除对规则相关性贡献甚微但频率极高的项，实现FIM算法的更快收敛。
• 证明过滤普遍项可带来显著的性能提升，同时保持所发现模式的统计相关性。

提出的方法

• 将普遍项定义为支持度超过预设阈值（例如，事务总数的90%）的项。
• 在运行标准FIM算法之前，通过预处理从事务数据库中移除所有被分类为普遍项的项。
• 在过滤后的数据集上应用传统的FIM算法（例如，Apriori或Eclat）以提取频繁项集。
• 在候选生成过程中，使用支持度剪枝策略移除包含普遍项的项集。
• 利用普遍项因高熵和低区分能力而贡献信息量极小的特性。
• 通过确保仅保留共现频率高且熵低的项，维持结果的保真度。

实验结果

研究问题

• RQ1 普遍项如何影响传统FIM算法的性能与收敛性？
• RQ2 在不降低结果质量的前提下，移除普遍项能在多大程度上提升FIM的计算效率？
• RQ3 普遍项对事务数据中项集的熵与信息含量有何影响？
• RQ4 基于项频次阈值的预过滤步骤能否有效消除FIM中的性能瓶颈？
• RQ5 排除普遍项如何影响挖掘出的关联规则的显著性与可解释性？

主要发现

• 由于候选集生成过多及内存占用过大，普遍项的存在导致FIM算法出现显著的性能下降。
• 在某些数据集中，过滤普遍项可使FIM算法的运行时间减少高达80%，且对发现的有意义项集数量影响极小。
• 由于熵高，普遍项的信息含量可忽略不计，因此不适合作为规则生成的候选。
• 该方法保持了高结果保真度，即使在移除普遍项后，绝大多数重要项集仍得以保留。
• 所提出的过滤步骤显著加快了FIM算法的收敛速度，尤其在具有高度项频次偏斜的大规模数据集中效果更明显。
• 实证结果表明，排除支持度高于90%的项可带来显著的速度提升，同时保留原始规则集95%的相关性。