[论文解读] Mining Association Rules in Various Computing Environments: A Survey

Sudhakar Singh, Pankaj Singh+2 more|arXiv (Cornell University)|Jun 30, 2019

Data Mining Algorithms and Applications参考文献 68被引用 5

一句话总结

本综述系统性地回顾了关联规则挖掘（ARM）算法在四种计算环境——串行、并行/分布式、网格和云计算——中的应用，突出展示了效率和可扩展性方面的进化改进。它追溯了ARM技术从传统串行方法到现代并行和云环境实现的演进过程，强调了数据量和计算需求驱动下的性能提升与架构适应。

ABSTRACT

Association Rule Mining (ARM) is one of the well know and most researched technique of data mining. There are so many ARM algorithms have been designed that their counting is a large number. In this paper we have surveyed the various ARM algorithms in four computing environments. The considered computing environments are sequential computing, parallel and distributed computing, grid computing and cloud computing. With the emergence of new computing paradigm, ARM algorithms have been designed by many researchers to improve the efficiency by utilizing the new paradigm. This paper represents the journey of ARM algorithms started from sequential algorithms, and through parallel and distributed, and grid based algorithms to the current state-of-the-art, along with the motives for adopting new machinery.

研究动机与目标

• 提供对关联规则挖掘（ARM）算法在多样化计算环境中的全面综述。
• 分析ARM技术从串行计算到云环境计算范式的演进过程。
• 识别采用新型计算架构进行ARM的动因，例如可扩展性和性能提升。
• 比较不同分布式和并行环境中国ARM算法的效率和适用性。
• 突出现代大规模数据处理系统中部署ARM的当前趋势与挑战。

提出的方法

• 根据计算环境（串行、并行/分布式、网格和云计算）对现有ARM算法进行调研与分类。
• 分析每种环境中ARM算法的设计原则与性能特征。
• 评估分布式和云环境ARM系统中算法优化技术，如数据分区、负载均衡和容错机制。
• 映射从单机系统到可扩展、容错和弹性计算基础设施的ARM架构演进过程。
• 识别并行与分布式ARM实现中使用的关键架构模式与通信模型。
• 综合分析硬件与软件进步如何影响ARM算法的开发与部署。

实验结果

研究问题

• RQ1 关联规则挖掘算法如何从串行计算环境演进到云环境？
• RQ2 传统串行ARM中的关键性能瓶颈是什么？现代并行与分布式模型如何解决这些问题？
• RQ3 哪些架构特性使得网格与云计算环境中的ARM实现高效且可扩展？
• RQ4 负载均衡、容错机制与数据分区如何影响分布式ARM算法的效率？
• RQ5 在不同计算平台上，ARM的复杂性、可扩展性与准确性之间存在哪些权衡？

主要发现

• ARM算法已从串行处理显著演进为高度可扩展、分布式和云原生的实现，以应对大数据工作负载。
• 并行与分布式计算模型通过利用多处理器和集群，显著提升了执行效率与可扩展性。
• 基于网格与云计算的ARM框架支持动态资源分配与容错能力，从而增强了可靠性与性能。
• ARM与云平台的集成实现了弹性扩展，并支持大规模事务数据库的成本效益处理。
• 现代ARM系统中的性能提升主要归因于高效的数据分区、负载均衡与优化的通信协议。
• 尽管技术不断进步，但在分布式与云环境中仍面临保持高准确率和最小化I/O开销的挑战。