[論文レビュー] Evaluation of Frequent Itemset Mining Platforms using Apriori and FP-Growth Algorithm

Ravi Ranjan, Aditi Sharma|arXiv (Cornell University)|Feb 28, 2019

Data Mining Algorithms and Applications被引用数 10

ひとこと要約

本稿では、Hadoop、Spark、FlinkというMapReduceベースのプラットフォームを、AprioriおよびFP-Growthアルゴリズムを用いて、さまざまなデータ規模における頻出アイテムセット抽出のワークロードに対して評価している。実験の結果、Sparkは、主にメモリ内処理と最適化された反復計算モデルのおかげで、Hadoop や Flink よりも実行時間とスケーラビリティに優れており、特に大規模データセットに対して顕著であることがわかった。

ABSTRACT

With the overwhelming amount of complex and heterogeneous data pouring from any-where, any-time, and any-device, there is undeniably an era of Big Data. The emergence of the Big Data as a disruptive technology for next generation of intelligent systems, has brought many issues of how to extract and make use of the knowledge obtained from the data within short times, limited budget and under high rates of data generation. Companies are recognizing that big data can be used to make more accurate predictions, and can be used to enhance the business with the help of appropriate association rule mining algorithm. To help these organizations, with which software and algorithm is more appropriate for them depending on their dataset, we compared the most famous three MapReduce based software Hadoop, Spark, Flink on two widely used algorithms Apriori and Fp-Growth on different scales of dataset.

研究の動機と目的

• 主なビッグデータプラットフォーム（Hadoop、Spark、Flink）が頻出アイテムセット抽出ワークロードを実行する際のパフォーマンスを評価すること。
• 分散コンピューティングフレームワークを用いて、さまざまなデータサイズ下でのAprioriおよびFP-Growthアルゴリズムのスケーラビリティと効率性を評価すること。
• データセットのサイズ、予算、パフォーマンス制約に基づいて、組織にとって最も適したプラットフォームとアルゴリズムの組み合わせを特定すること。
• さまざまなデータスケールとプラットフォームにおける実行時間、メモリ使用量、処理速度に関する実証的証拠を提供すること。

提案手法

• 標準化されたさまざまなサイズのデータセットを用いて、Hadoop、Spark、Flink上にAprioriおよびFP-Growthアルゴリズムを実装した。
• データ量の増加に伴うパフォーマンスを評価するため、複数のデータスケール（小、中、大）で実験を実施した。
• すべてのプラットフォームおよびアルゴリズムにおいて、実行時間、メモリ消費量、スループットを主なパフォーマンス指標として測定した。
• プラットフォーム間およびアルゴリズム間の公平な比較を保証するため、一貫したハードウェア環境を用いた。
• 各プラットフォームのネイティブ実行モデルを活用して、クラスタにわたる計算を分散化するため、MapReduceベースの並列処理を適用した。
• 再現可能性を確保し、パフォーマンス比較に偏りが生じないよう、入力データ形式と前処理手順を標準化した。

実験結果

リサーチクエスチョン

• RQ1 AprioriおよびFP-Growthを用いた頻出アイテムセット抽出において、Hadoop、Spark、Flinkの実行時間はどのように比較できるか？
• RQ2 同じアルゴリズムを用いて、データサイズが増加するにつれて、どのプラットフォームがより優れたスケーラビリティを示すか？
• RQ3 アルゴリズムの選択（Apriori対FP-Growth）が、さまざまなビッグデータプラットフォームにおけるパフォーマンスにどのように影響するか？
• RQ4 データサイズの増大が、分散処理による頻出アイテムセット抽出におけるメモリ使用量と処理効率に与える影響は何か？
• RQ5 実世界のビジネス応用において、最良のパフォーマンス対コスト比を達成するプラットフォームとアルゴリズムの組み合わせは何か？

主な発見

• Sparkは、すべてのデータスケールで最短の実行時間を達成しており、主にメモリ内計算モデルのおかげでHadoop や Flink よりも優れていた。
• FP-Growthは、すべてのプラットフォームでAprioriよりも一貫して高速に実行されたが、特に大規模データセットでは、圧縮されたデータベース構造のおかげで顕著に速くなった。
• Hadoopは、特に大規模データセットにおいて、ディスクI/Oのボトルネックのため、最も長い実行時間と最も低いスケーラビリティを示した。
• Flinkは中程度のパフォーマンスを示し、Hadoopより優れていたが、Sparkほどではなかった。特に反復処理ワークロードにおいて顕著であった。
• データサイズが増加するにつれて、プラットフォーム間のパフォーマンス格差が拡大し、Sparkはスケールに伴う優れた効率性を維持した。
• 反復アルゴリズム（例：Apriori）において、Sparkのメモリ使用量はHadoopよりも顕著に低かった。