[论文解读] A Parallel/Distributed Algorithmic Framework for Mining All Quantitative Association Rules

Ioannis T. Christou, Emmanouil Amolochitis+1 more|arXiv (Cornell University)|Apr 18, 2018

Data Mining Algorithms and Applications参考文献 20被引用 12

一句话总结

本文提出 QARMA，一种用于在大规模多维数据集中挖掘所有定量关联规则的并行/分布式算法。它能高效生成所有满足最小支持度和趣味性阈值（例如置信度、信念度）的非支配规则，对于大型合成数据集和真实世界数据集（如 MovieLens）在普通硬件上实现亚分钟级执行时间。

ABSTRACT

We present QARMA, an efficient novel parallel algorithm for mining all Quantitative Association Rules in large multidimensional datasets where items are required to have at least a single common attribute to be specified in the rules single consequent item. Given a minimum support level and a set of threshold criteria of interestingness measures such as confidence, conviction etc. our algorithm guarantees the generation of all non-dominated Quantitative Association Rules that meet the minimum support and interestingness requirements. Such rules can be of great importance to marketing departments seeking to optimize targeted campaigns, or general market segmentation. They can also be of value in medical applications, financial as well as predictive maintenance domains. We provide computational results showing the scalability of our algorithm, and its capability to produce all rules to be found in large scale synthetic and real world datasets such as Movie Lens, within a few seconds or minutes of computational time on commodity hardware.

研究动机与目标

• 解决在大规模、多维数据集中挖掘所有定量关联规则的计算挑战。
• 实现高效发现满足用户定义的最小支持度和趣味性阈值的非支配规则。
• 通过提供可操作的、基于规则的洞察，支持市场营销、医疗保健、金融和预测性维护等实际应用。
• 确保规则生成的完整性——保证不会遗漏任何有效规则——同时保持高性能。
• 利用分布式架构在普通硬件上有效扩展，以处理大数据工作负载。

提出的方法

• 设计一种并行/分布式算法框架，将搜索空间划分为多个处理单元，以加速规则挖掘。
• 基于最小支持度和趣味性度量（例如置信度、信念度）提出一种新颖的剪枝策略，以尽早消除支配规则。
• 利用多维数据模型，其中项目与连续或离散属性相关联，以支持定量规则生成。
• 采用分治策略将数据和计算分布在各节点之间，最大限度减少通信开销。
• 集成一个规则评估引擎，检查每个候选规则是否满足用户指定的趣味性阈值。
• 通过系统性地探索所有可能的规则组合并避免冗余计算，确保正确性和完整性。

实验结果

研究问题

• RQ1 并行/分布式框架是否能在大规模数据集中实现完整且高效的全部定量关联规则挖掘？
• RQ2 所提出的算法在不同数据规模和维度下，其运行时间和资源利用率如何扩展？
• RQ3 在基于支持度和趣味性度量应用剪枝策略时，算法在多大程度上保持了完整性？
• RQ4 与现有串行或非分布式方法相比，该算法在真实世界和合成数据集上的性能如何？
• RQ5 该框架是否能在普通硬件上于合理时间限制内交付可操作的、非支配规则？

主要发现

• QARMA 在普通硬件上对 MovieLens 数据集成功在 1 分钟内挖掘出所有非支配定量关联规则。
• 该算法表现出强大的可扩展性，在数据量增加时对大型合成数据集的性能下降微乎其微。
• 在各种数据配置下，执行时间保持在几秒到几分钟之间，表明其高效性。
• 该框架保证了完整性——未遗漏任何有效规则——同时应用了基于支持度和趣味性阈值的激进剪枝策略。
• 与串行实现相比，并行架构实现了显著的加速，尤其是在高维数据上。
• 该方法在真实世界和合成数据集上均表现出鲁棒性，保持了稳定性能和高质量规则。