[論文レビュー] Identifying Dwarfs Workloads in Big Data Analytics

Wanling Gao, Chunjie Luo+6 more|arXiv (Cornell University)|May 26, 2015

Cloud Computing and Resource Management参考文献 18被引用数 4

ひとこと要約

本論文は、検索、ソーシャルネットワーキング、電子商取引、バイオインフォマティクス、マルチメディア、天文学の分野を網羅する40の代表的アルゴリズムを対象としたマルチドメイン分析を通じて、ビッグデータ分析における8つの基本的ダーフ（線形代数、サンプリング、論理演算、変換演算、集合演算、グラフ演算、統計的演算、ソート）を同定した。検索、ソーシャルネットワーキング、電子商取引、バイオインフォマティクス、マルチメディア、天文学の分野における繰り返し現れる計算パターンを抽象化することで、ビッグデータシステムの効率的かつ包括的な評価を可能にする最小限で代表的なベンチマークスイートを確立した。

ABSTRACT

Big data benchmarking is particularly important and provides applicable yardsticks for evaluating booming big data systems. However, wide coverage and great complexity of big data computing impose big challenges on big data benchmarking. How can we construct a benchmark suite using a minimum set of units of computation to represent diversity of big data analytics workloads? Big data dwarfs are abstractions of extracting frequently appearing operations in big data computing. One dwarf represents one unit of computation, and big data workloads are decomposed into one or more dwarfs. Furthermore, dwarfs workloads rather than vast real workloads are more cost-efficient and representative to evaluate big data systems. In this paper, we extensively investigate six most important or emerging application domains i.e. search engine, social network, e-commerce, multimedia, bioinformatics and astronomy. After analyzing forty representative algorithms, we single out eight dwarfs workloads in big data analytics other than OLAP, which are linear algebra, sampling, logic operations, transform operations, set operations, graph operations, statistic operations and sort.

研究の動機と目的

• 多様で複雑かつ急速に進化するビッグデータワークロードを、最小限で代表的な計算単位として効果的にベンチマーク化する課題に対処すること。
• 主なビッグデータアプリケーション分野の間で本質的な操作を捉える最小限の計算抽象化（ダーフ）のセットを同定すること。
• 実世界のアルゴリズムとフレームワークから頻繁に出現する計算パターンを体系的に抽出するための手法を開発すること。
• これらのダーフに基づいて、ビッグデータシステムの評価に適した代表的でコスト効率の良いベンチマークスイート（BigDataBench 3.1）を構築すること。
• ビッグデータ分析におけるシステム評価、アーキテクチャ設計、パフォーマンス最適化の基盤を提供すること。

提案手法

• カバレッジと関連性に基づき、検索エンジン、ソーシャルネットワーク、電子商取引、マルチメディア、バイオインフォマティクス、天文学の6つの主要なアプリケーション分野を選定した。
• Mahout、MLlibなどの広く使われるライブラリ、Spark、Hadoopなどのフレームワーク、BigBench、AMP Benchmarkなどのベンチマークから抽出された40の代表的アルゴリズムを分析した。
• 構造的・準構造的・非構造的データモデルを網羅する多様なデータモデルにおいて、繰り返し現れるパターンを特定することで、頻繁に出現する計算操作を抽出した。
• ワークロードを表現するために、頂点をデータサブセット、エッジをダーフとして持つDAG（有向無閉路グラフ）に類似したモデルを用い、合成可能性とカバレッジを検証した。
• 8つのダーフが、ダーフ操作の組み合わせによって元の40のアルゴリズムを再構成可能であることを示すことで、それらの有効性を検証した。
• 14の実世界のデータセットと33のワークロードを含む、オープンソースのベンチマークスイートBigDataBench 3.1を構築した。このスイートは、同定されたダーフに基づいている。

実験結果

リサーチクエスチョン

• RQ1 多様なビッグデータ分析ワークロードにおいて、最も頻繁に出現する根本的な計算単位とは何か？
• RQ2 実世界のアルゴリズムとフレームワークから、体系的に最小限の計算抽象化（ダーフ）を導出する方法は何か？
• RQ3 同定されたダーフは、複数の分野にわたるビッグデータ分析の計算的多様性をどの程度代表できるか？
• RQ4 粒度と代表性の観点から、NRCのSeven Giantsのような高レベルな抽象化と比較して、提案されたダーフはどのように異なるか？
• RQ5 これらのダーフに基づくベンチマークスイートは、大規模で複雑なワークロードに依存せずに、ビッグデータシステムを効果的かつ効率的に評価できるか？

主な発見

• 著者らは、ビッグデータ分析における8つのコアなダーフワークロードを同定した：線形代数、サンプリング、論理演算、変換演算、集合演算、グラフ演算、統計的演算、ソート。
• これらのダーフは、6つの主要なアプリケーション分野にまたがる40の代表的アルゴリズムの包括的分析から導出されており、広範なカバレッジと代表性を確保している。
• DAGに類似した構成モデルを用いることで、これらのダーフは元の40のアルゴリズムを再構成可能であり、その表現力と完全性を示している。
• NRCのSeven Giantsよりも低い抽象化レベルにあり、高レベルの数学的問題ではなく、原子的な計算ユニットに焦点を当てているため、より細粒度のシステム評価が可能である。
• 提案されたダーフは、機械学習、データマイニング、自然言語処理（NLP）、グラフ処理の主要な操作をカバーしており、最適化、類似性検索、確率的推論の主要なコンponentsを含む。
• 得られたBigDataBench 3.1ベンチマークスイートは、公開されており、14の実データセットと33のワークロードを含み、すべて同定されたダーフに基づいている。このスイートは、スケーラブルで代表的な評価フレームワークを提供する。