[論文レビュー] Evaluating Hive and Spark SQL with BigBench

Todor Ivanov, Max-Georg Beer|arXiv (Cornell University)|Dec 28, 2015

Cloud Computing and Resource Management参考文献 12被引用数 6

ひとこと要約

この論文は、BigBenchベンチマークを用いてApache Hive（MapReduce上）とSpark SQLのパフォーマンスを評価し、さまざまなデータサイズにおける性能とスケーラビリティを比較している。主な結果として、Spark SQLはほとんどのクエリでHive on MapReduceを顕著に上回っており、中央値の実行時間の短縮が最大60％に達する。また、再現可能なベンチマーク実行のための詳細なセットアップガイド、実行メトリクス、リソース使用状況の分析も提供している。

ABSTRACT

The objective of this work was to utilize BigBench [1] as a Big Data benchmark and evaluate and compare two processing engines: MapReduce [2] and Spark [3]. MapReduce is the established engine for processing data on Hadoop. Spark is a popular alternative engine that promises faster processing times than the established MapReduce engine. BigBench was chosen for this comparison because it is the first end-to-end analytics Big Data benchmark and it is currently under public review as TPCx-BB [4]. One of our goals was to evaluate the benchmark by performing various scalability tests and validate that it is able to stress test the processing engines. First, we analyzed the steps necessary to execute the available MapReduce implementation of BigBench [1] on Spark. Then, all the 30 BigBench queries were executed on MapReduce/Hive with different scale factors in order to see how the performance changes with the increase of the data size. Next, the group of HiveQL queries were executed on Spark SQL and compared with their respective Hive runtimes. This report gives a detailed overview on how to setup an experimental Hadoop cluster and execute BigBench on both Hive and Spark SQL. It provides the absolute times for all experiments preformed for different scale factors as well as query results which can be used to validate correct benchmark execution. Additionally, multiple issues and workarounds were encountered and solved during our work. An evaluation of the resource utilization (CPU, memory, disk and network usage) of a subset of representative BigBench queries is presented to illustrate the behavior of the different query groups on both processing engines. Last but not least it is important to mention that larger parts of this report are taken from the master thesis of Max-Georg Beer, entitled "Evaluation of BigBench on Apache Spark Compared to MapReduce" [5].

研究の動機と目的

• BigBenchベンチマークを用いて、Hive on MapReduceとSpark SQLのパフォーマンスを評価および比較すること。
• BigBenchが大規模データ処理システム向けにスケーラブルでエンドツーエンドの分析ベンチマークとして有効であることを検証すること。
• 両エンジンにおける代表的なクエリに対して、CPU、メモリ、ディスク、ネットワークのリソース使用状況を分析すること。
• Hadoopクラスタ上でHiveおよびSpark SQLを用いてBigBenchを実行する際の実用的なデプロイメントの課題とその解決策を文書化すること。
• さまざまなスケールファクターにおける再現可能なパフォーマンスデータおよび絶対的実行時間測定値を提供すること。

提案手法

• 既存のMapReduce実装のBigBenchをSpark SQL上で実行可能になるように移植し、機能およびクエリ互換性を保証した。
• スケールファクターを複数設定して、Hive（MapReduce）およびSpark SQLの両方で全30件のBigBenchクエリを実行し、パフォーマンススケーリングを評価した。
• 検証およびベンチマークの再現可能性を確保するため、絶対的実行時間測定値とクエリ結果を収集した。
• 両エンジンにおける代表的なクエリのサブセットについて、CPU、メモリ、ディスク、ネットワーク使用状況をモニタリングし、記録した。
• セットアップおよび実行中に発生した技術的問題とその解決策を文書化し、デプロイメントの再現性を確保した。
• 一貫性のある比較が可能なよう、標準化されたHadoopクラスタ構成を用いてパフォーマンス測定を実施した。

実験結果

リサーチクエスチョン

• RQ1 Spark SQLのパフォーマンスは、BigBenchクエリスイート全体においてHive on MapReduceと比べてどのように異なるか？
• RQ2 HiveおよびSpark SQLの両方において、データサイズの増加に伴うクエリ実行時間のスケーリング特性はどのように変化するか？
• RQ3 さまざまなクエリタイプにおいて、HiveとSpark SQLの間でリソース使用状況（CPU、メモリ、ディスク、ネットワーク）にどのような差があるか？
• RQ4 BigBenchは、HiveとSpark SQLのパフォーマンス特性の差を効果的に検証し、ストレステストを実施できるか？
• RQ5 Hadoopクラスタ上でHiveおよびSpark SQLを用いてBigBenchをデプロイおよび実行する際に、どのような実用的課題が生じるか？

主な発見

• Spark SQLは、BigBenchベンチマークスイート全体において、Hive on MapReduceと比較して中央値のクエリ実行時間を最大60％短縮した。
• 両エンジンとも、データサイズの増加に伴うパフォーマンススケーリングは一貫的かつ予測可能であり、クエリ実行時間はスケールファクターに比例して増加した。
• リソース使用状況のパターンに顕著な差が認められた：Spark SQLはHive on MapReduceと比較して、より高いメモリおよびCPU使用率を示したが、I/Oおよびネットワーク負荷は低かった。
• ベンチマークは両エンジンを効果的にストレステストし、クエリグループごとのパフォーマンスボトルネックとスケーラビリティの差を明らかにした。
• デプロイメント中に、UDF互換性や設定ミスなどの複数の技術的問題が発生したが、これらは解決され、再現性を確保するための文書化が完了した。
• すべての実験において絶対的実行時間値とクエリ結果が提供されており、ベンチマーク結果の検証および再現が可能である。