[論文レビュー] Benchmarking Big Data Systems: State-of-the-Art and Future Directions

Rui Han, Zhen Jia+3 more|arXiv (Cornell University)|Jun 4, 2015

Cloud Computing and Resource Management参考文献 17被引用数 7

ひとこと要約

本論文は、大規模データのベンチマーク手法に関する包括的サーベイを提示し、4V特性（ボリューム、ボリューム、バリエーション、信頼性）を保持する現実的でないワークロードの生成、さまざまなソフトウェアスタックおよびシステム実装のサポートという、主な課題を特定している。次世代ベンチマークを設計するためのフレームワークを提唱しており、これは包括的でスケーラブルかつ現実のワークロードを代表するものである。特に、進化するシステムの複雑さと異種のハードウェアプラットフォームへの対応に焦点を当てる。

ABSTRACT

The great prosperity of big data systems such as Hadoop in recent years makes the benchmarking of these systems become crucial for both research and industry communities. The complexity, diversity, and rapid evolution of big data systems gives rise to various new challenges about how we design generators to produce data with the 4V properties (i.e. volume, velocity, variety and veracity), as well as implement application-specific but still comprehensive workloads. However, most of the existing big data benchmarks can be described as attempts to solve specific problems in benchmarking systems. This article investigates the state-of-the-art in benchmarking big data systems along with the future challenges to be addressed to realize a successful and efficient benchmark.

研究の動機と目的

• 現代の大規模データシステムの複雑さ、多様性、急速な進化に起因するベンチマーク手法における重要な課題を特定すること。
• 現在のベンチマーク手法を分析し、4V特性を備えた現実的でアプリケーション固有のワークロードをサポートする点でのギャップを浮き彫りにすること。
• 包括的でスケーラブルかつ現実のデータおよびシステム動作を代表する次世代ベンチマークを設計する基盤を提唱すること。
• 公平なパフォーマンスおよびエネルギー効率評価を可能にするために、異種ハードウェアプラットフォーム（例：Xeon+GPGPU、Xeon+MIC）間での統一インターフェースの必要性に対処すること。
• 実際のワークロードトレースおよびプロファイリングデータを統合して、ベンチマークの現実性とスケーラビリティを向上させることの有効性を検討すること。

提案手法

• 4V特性（ボリューム（データサイズ）、速度（データ生成／処理速度）、多様性（データタイプ）、信頼性（データの正確性））に基づいて、大規模データシステムを体系的に分類する。
• 実際のアプリケーショントレースおよびプロファイリングデータを用いた現実的なデータ生成とワークロード実装を重視するベンチマーク手法を提唱する。
• さまざまなソフトウェアスタック（例：Hadoop、Spark）をサポートし、アプリケーションの意味論とリソース要件を捉えるワークロード生成のためのフレームワークを導入する。
• 現実の到着パターンとシステム動作をモデル化するために、実際のワークロードトレースの使用の重要性を強調する。
• Sparkのような主記憶型システムのベンチマーク手法における課題に対処する。特に、JVMベースのメモリ管理の複雑さや、圧縮およびシリアル化に起因するCPUとメモリのトレードオフを考慮する。
• 異なるシステムとソフトウェアスタック間での直接比較を可能にするために、均一なインターフェースを備えた異種ハードウェアプラットフォームへのベンチマークの拡張を提言する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、大規模データベンチマークにおいて4V特性（ボリューム、速度、多様性、信頼性）を保持するデータジェネレータを設計できるか？
• RQ2 どのような技術が、多様なシステムアーキテクチャおよびソフトウェアスタックにわたって包括的かつ代表的であるアプリケーション固有のワークロードを実装可能にするか？
• RQ3 実際のワークロードトレースおよびプロファイリングデータを効果的に活用して、現実的でスケーラブルなベンチマークワークロードを生成するにはどうすればよいか？
• RQ4 主記憶型コンピューティングシステム（例：Spark）のベンチマーク手法において、特にメモリ使用量とCPU使用率に関する課題は何か？
• RQ5 大規模データベンチマークは、どのようにして異種ハードウェアプラットフォーム（例：Xeon+GPGPU、Xeon+MIC）をサポートするように拡張できるか？これにより、パフォーマンスおよびエネルギー効率の公平な評価が可能になる。

主な発見

• 既存の大規模データベンチマークは、特定の問題の解決に焦点を当てており、4V特性を包括的に扱うか、さまざまなソフトウェアスタックおよびシステム実装をサポートする点で不十分である。
• 複数のスケールでワークロードを生成できるが、現実の混合大規模データワークロードとそのリソース要件を保持するベンチマークが不足している。
• 実アプリケーションログのプロファイリングは、現実的なワークロード到着パターンを捉える有望なアプローチであるが、これをベンチマーク生成に統合するには課題が残っている。
• Sparkのような主記憶型システムは、JVMベースの複雑なメモリ管理や、圧縮およびシリアル化に起因するCPUとメモリのトレードオフにより、独自のベンチマーク課題を引き起こす。
• 異種ハードウェアプラットフォームは、データ処理効率の向上の可能性を秘めているが、現在のベンチマークはこうしたプラットフォーム間での一貫したワークロード評価能力に欠けている。
• 現実のワークロード生成と、クロスプラットフォーム・クロスソフトウェアスタック評価を両立するベンチマークは、現時点では存在せず、分野における重要なギャップを示している。