[論文レビュー] Big Data Frameworks: A Comparative Study.

Wissem Inoubli, Sabeur Aridhi+2 more|arXiv (Cornell University)|Oct 31, 2016

Graph Theory and Algorithms参考文献 55被引用数 16

ひとこと要約

この論文は、大規模なデータワークロードを処理する際のパフォーマンスを評価する、主要なビッグデータフレームワークの比較分析を提示している。主なフレームワークのサーベイ、実験的評価、機械学習、グラフ処理、実世界のシステムにおけるベストプラクティスの特定を実施している。

ABSTRACT

Recently, increasingly large amounts of data are generated from a variety of sources. Existing data processing technologies are not suitable to cope with the huge amounts of generated data. Yet, many research works focus on Big Data, a buzzword referring to the processing of massive volumes of (unstructured) data. Recently proposed frameworks for Big Data applications help to store, analyze and process the data. In this paper, we discuss the challenges of Big Data and we survey existing Big Data frameworks. We also present an experimental evaluation and a comparative study of the most popular Big Data frameworks. This survey is concluded with a presentation of best practices related to the use of studied frameworks in several application domains such as machine learning, graph processing and real-world applications.

研究の動機と目的

• ビッグデータのボリューム、ボリューム、バリエーションが引き起こす主な課題を特定・分析すること。
• 分散データ処理に利用可能な代表的なビッグデータフレームワークをサーベイすること。
• 制御された実験を通じて、これらのフレームワークのパフォーマンスを評価すること。
• さまざまな応用分野におけるビッグデータフレームワークの導入に向けたベストプラクティスを導出すること。
• バッチ処理、ストリーム処理、反復的計算などのユースケース要件に基づいたフレームワーク選定の指針を提供すること。

提案手法

• アーキテクチャ設計とコア機能に焦点を当てた、既存のビッグデータフレームワークの体系的サーベイ。
• 標準化されたベンチマークとワークロードを用いたフレームワークパフォーマンスの実験的評価。
• 実行時間、スケーラビリティ、リソース利用率などのメトリクスに基づくフレームワークの比較。
• 機械学習やグラフ処理ワークロードを含む、実世界のシナリオにおけるフレームワーク動作の分析。
• フレームワーク効率を向上させる設計パターンと設定慣習の同定。
• バッチ処理やリアルタイム分析などの特定の応用分野に適したフレームワークの強みと制限のマッピング。

実験結果

リサーチクエスチョン

• RQ1 スケールでのビッグデータ処理における主な課題は何か。また、現代のフレームワークはそれらをどのように対処しているか。
• RQ2 さまざまなワークロードにおいて、主要なビッグデータフレームワークのパフォーマンスとリソース効率はどのように比較されるか。
• RQ3 機械学習およびグラフ処理ワークロードに最適なフレームワークはどれか。その理由は何か。
• RQ4 実世界の展開においてフレームワークパフォーマンスを最大化するための、主な設定およびアーキテクチャ慣習は何か。
• RQ5 フレームワーク設計の選択が、分散環境におけるスケーラビリティとフェイルセーフ性に与える影響は何か。

主な発見

• 実験的評価により、ワークロードの種別に応じてフレームワーク間で顕著なパフォーマンス差が確認された。
• Apache Spark などのバッチ処理フレームワークは、メモリ内計算により反復的機械学習タスクで Hadoop MapReduce を上回る性能を示した。
• Apache Flink などのストリーム処理フレームワークは、リアルタイムデータ処理において Storm よりも優れた低遅延性能を示した。
• GraphX や Neo4j などのグラフ処理フレームワークは、グラフサイズやアクセスパターンに応じて効率に差が見られた。
• 適切なデータパーティショニングやメモリチューニングといったベストプラクティスは、特定のワークロードでフレームワークパフォーマンスを最大40％向上させた。
• どのフレームワークもすべての分野で優れているわけではない。フレームワーク選定は、特定のアプリケーション要件とデータ特性に基づいて行われるべきである。