[论文解读] A Guided FP-growth algorithm for multitude-targeted mining of big data

Lior Shabtay, Rami Yaari+1 more|arXiv (Cornell University)|Mar 18, 2018

Data Mining Algorithms and Applications被引用 6

一句话总结

本文提出了一种新型的引导式FP-growth（GFP-growth）算法，通过针对FP树的单次定向遍历，高效地从大数据中挖掘预定义的大量项目集的支持度计数。该算法通过仅关注相关树分支，显著降低了时间和内存开销，并在诸如从不平衡数据集中挖掘少数类规则等应用中实现了性能提升。所提出的少数类报告算法（Minority-Report Algorithm）具备理论保证和实证优势。

ABSTRACT

In this paper we present the GFP-growth (Guided FP-growth) algorithm, a novel method for multitude-targeted mining: finding the count of a given large list of itemsets in large data. The GFP-growth algorithm is designed to focus on the specific multitude itemsets of interest and optimizes the time and memory costs. We prove that the GFP-growth algorithm yields the exact frequency-counts for the required itemsets. We show that for a number of different problems, a solution can be devised which takes advantage of the efficient implementation of multitude-targeted mining for boosting the performance. In particular, we study in detail the problem of generating the minority-class rules from imbalanced data, a scenario that appears in many real-life domains such as medical applications, failure prediction, network and cyber security, and maintenance. We develop the Minority-Report Algorithm that uses the GFP-growth for boosting performance. We prove some theoretical properties of the Minority-Report Algorithm and demonstrate its performance gain using simulations and real data.

研究动机与目标

• 解决现有定向挖掘方法效率低下的问题，这些方法独立处理每个项目集，导致重复的树遍历和高昂的计算成本。
• 开发一种可扩展的通用解决方案，用于同时从FP树中挖掘大量预定义项目集的支持度计数。
• 提升在医疗诊断、网络安全和故障预测等现实应用中的性能，这些应用中少数类规则至关重要。
• 通过复用先前挖掘的FP树，实现频繁项目集的高效增量更新，避免完全重新挖掘。
• 为基于约束的和定向数据挖掘提供理论可靠且计算高效的基石。

提出的方法

• GFP-growth算法执行一次引导式的FP树遍历，动态并行追踪多个目标项目集的支持度计数。
• 采用引导式挖掘策略，根据目标项目集的前缀路径剪枝FP树中无关分支，避免完整树的探索。
• 该算法维护一个动态计数结构，在遍历过程中累积每个目标项目集的支持值，确保频率计算的精确性。
• 与现有的FP-growth优化技术（如条件模式基和树压缩）集成，进一步降低时间和内存开销。
• 基于GFP-growth构建了少数类报告算法（Minority-Report Algorithm），通过聚焦于罕见但关键的项目集，优先提取不平衡数据集中的少数类关联规则。
• 在增量更新场景中，GFP-growth仅重新计算因新数据导致频率可能改变的项目集的支持度计数，避免对整个数据库的完整扫描。

实验结果

研究问题

• RQ1 与重复的单项目集挖掘相比，能否通过一次单次遍历、引导式FP树遍历实现对大量目标项目集的精确支持度计数，且效率更高？
• RQ2 如何对GFP-growth算法进行改进，以提升其在从不平衡数据集中挖掘少数类关联规则方面的性能？
• RQ3 在频繁项目集需要更新的增量数据挖掘场景中，GFP-growth算法在多大程度上能降低时间和内存成本？
• RQ4 GFP-growth算法在支持度计数的正确性和完备性方面提供了哪些理论保证？
• RQ5 GFP-growth框架能否扩展以支持基于约束的挖掘，并优化其他数据挖掘工作负载？

主要发现

• GFP-growth算法通过一次部分FP-growth遍历，实现了对所有指定项目集的精确支持度计数，消除了冗余的树遍历。
• 与标准FP-growth相比，当挖掘多个目标项目集时，该算法显著降低了时间和内存开销，尤其在目标列表较大时优势明显。
• 基于GFP-growth构建的少数类报告算法在从不平衡数据中挖掘少数类规则方面表现出显著的性能提升，经模拟和真实数据集验证。
• 理论分析证实，少数类报告算法能正确识别并排序少数类规则，且支持度计算具有保证的准确性。
• GFP-growth框架通过仅关注频率可能发生变化的项目集，实现了高效的增量更新，避免了对数据库的完全重新挖掘。
• 该算法与现有FP-growth优化技术兼容，可通过集成高级数据结构和并行化技术进一步提升性能。