[论文解读] Evaluation of Frequent Itemset Mining Platforms using Apriori and FP-Growth Algorithm

Ravi Ranjan, Aditi Sharma|arXiv (Cornell University)|Feb 28, 2019

Data Mining Algorithms and Applications被引用 10

一句话总结

本文使用 Apriori 和 FP-Growth 算法，在不同数据规模下评估基于 MapReduce 的平台——Hadoop、Spark 和 Flink 在频繁项集挖掘中的表现。研究发现，由于其内存内处理和优化的迭代计算模型，Spark 在执行时间和可扩展性方面优于 Hadoop 和 Flink，尤其在处理大规模数据集时表现更优。

ABSTRACT

With the overwhelming amount of complex and heterogeneous data pouring from any-where, any-time, and any-device, there is undeniably an era of Big Data. The emergence of the Big Data as a disruptive technology for next generation of intelligent systems, has brought many issues of how to extract and make use of the knowledge obtained from the data within short times, limited budget and under high rates of data generation. Companies are recognizing that big data can be used to make more accurate predictions, and can be used to enhance the business with the help of appropriate association rule mining algorithm. To help these organizations, with which software and algorithm is more appropriate for them depending on their dataset, we compared the most famous three MapReduce based software Hadoop, Spark, Flink on two widely used algorithms Apriori and Fp-Growth on different scales of dataset.

研究动机与目标

• 评估主流大数据平台——Hadoop、Spark 和 Flink 在执行频繁项集挖掘工作负载时的性能表现。
• 评估在不同数据规模下，使用分布式计算框架时 Apriori 和 FP-Growth 算法的可扩展性和效率。
• 根据数据集大小、预算和性能约束，识别最适合组织使用的平台-算法组合。
• 提供执行时间、内存使用率和处理速度在不同数据规模和平台下的实证证据。

提出的方法

• 在 Hadoop、Spark 和 Flink 上实现 Apriori 和 FP-Growth 算法，使用标准化的、不同规模的数据集。
• 在多个数据规模（小、中、大）下执行实验，以评估数据量增加时的性能表现。
• 将执行时间、内存消耗和吞吐量作为关键性能指标，在所有平台和算法间进行测量。
• 使用一致的硬件环境，以确保平台和算法之间比较的公平性。
• 应用基于 MapReduce 的并行化技术，将计算分布在集群中，利用各平台的本机执行模型。
• 标准化输入数据格式和预处理步骤，以确保可复现性，并消除性能比较中的偏差。

实验结果

研究问题

• RQ1 在使用 Apriori 和 FP-Growth 算法进行频繁项集挖掘时，Hadoop、Spark 和 Flink 在执行时间上的表现如何比较？
• RQ2 在使用相同算法处理日益增大的数据集时，哪个平台展现出更好的可扩展性？
• RQ3 算法选择（Apriori 与 FP-Growth）对不同大数据平台性能的影响如何？
• RQ4 数据规模对分布式频繁项集挖掘中内存使用率和处理效率有何影响？
• RQ5 在实际业务应用中，哪种平台与算法的组合能实现最佳的性能-成本比？

主要发现

• Spark 在所有数据规模下均实现了最低的执行时间，由于其内存内计算模型，优于 Hadoop 和 Flink。
• FP-Growth 在所有平台上均比 Apriori 执行得更快，尤其在大规模数据集上，这得益于其压缩数据库结构。
• Hadoop 的执行时间最长，可扩展性最差，尤其在处理大规模数据集时，受制于磁盘 I/O 瓶颈。
• Flink 表现中等，优于 Hadoop 但逊于 Spark，尤其在迭代计算工作负载中表现更优。
• 随着数据规模增大，各平台之间的性能差距扩大，Spark 在大规模场景下保持了更优的效率。
• 与 Hadoop 相比，Spark 的内存使用率显著更低，尤其在 Apriori 等迭代算法中表现更优。