[論文レビュー] BigOP: Generating Comprehensive Big Data Workloads as a Benchmarking Framework

Yuqing Zhu, Jianfeng Zhan+5 more|arXiv (Cornell University)|Jan 26, 2014

Cloud Computing and Resource Management参考文献 13被引用数 5

ひとこと要約

BigOPは、リレーショナル代数と実世界のワークロードから根本的な処理演算子とワークロードパターンを抽象化することで、大規模データシステムの包括的で柔軟なベンチマークフレームワークを提案する。操作、パターン、データセット、メトリクスを組み合わせたカスタマイズ可能な仕様を用いることで、代表的で拡張可能なテストが可能となり、従来のベンチマークに比べてデータ型や処理ワークロードのカバー範囲が広がり、スケーラブルで拡張性のある代替手段を提供する。

ABSTRACT

Big Data is considered proprietary asset of companies, organizations, and even nations. Turning big data into real treasure requires the support of big data systems. A variety of commercial and open source products have been unleashed for big data storage and processing. While big data users are facing the choice of which system best suits their needs, big data system developers are facing the question of how to evaluate their systems with regard to general big data processing needs. System benchmarking is the classic way of meeting the above demands. However, existent big data benchmarks either fail to represent the variety of big data processing requirements, or target only one specific platform, e.g. Hadoop. In this paper, with our industrial partners, we present BigOP, an end-to-end system benchmarking framework, featuring the abstraction of representative Operation sets, workload Patterns, and prescribed tests. BigOP is part of an open-source big data benchmarking project, BigDataBench. BigOP's abstraction model not only guides the development of BigDataBench, but also enables automatic generation of tests with comprehensive workloads. We illustrate the feasibility of BigOP by implementing an automatic test generation tool and benchmarking against three widely used big data processing systems, i.e. Hadoop, Spark and MySQL Cluster. Three tests targeting three different application scenarios are prescribed. The tests involve relational data, text data and graph data, as well as all operations and workload patterns. We report results following test specifications.

研究の動機と目的

• 基本的なストレージと分析を越えた、大規模データ処理ワークロードの全範囲をカバーする包括的で拡張可能なベンチマークの不足に対処する。
• アプリケーション固有および汎用のベンチマークを両立できるように、処理演算子とワークロードパターンの統一的抽象化を提供する。
• 操作、パターン、データセット、測定可能なメトリクスに基づく標準化されたテスト仕様を定義することで、異機種間の比較を可能にする。
• YCSB、TPC-DS、BigBenchといった既存ベンチマークの制限を克服し、反復処理および非構造化データワークロードを含める。
• 操作とパターンの拡張を可能にする段階的で拡張性のある設計により、将来的なベンチマーク要件の変化にも対応できる。

提案手法

• リレーショナル代数から5つの原始的演算子（フィルタ、プロジェクト、クロス積、ユニオン、差集合）を抽出し、データセットへの関与（要素、単一セット、二重セット操作）に基づいて分類することで、コア処理演算子とする。
• 非構造化データの処理における役割を強調し、put、get、delete、transform、order by、集計などの一般的な大規模データ処理演算子を原始的演算子に拡張する。
• 操作の組み合わせと実行の意味論に基づき、単一操作、複数操作、反復処理の3つのワークロードパターンを定義する。反復パターンは動的かつ条件駆動の実行をサポートする。
• 選択された操作とパターン、データセット（実データまたは合成データ）、ワークロード生成手法、スループットやレイテンシなどの性能メトリクスを組み合わせた標準化されたテスト仕様「テスト仕様」を導入する。
• Fast Storage（OLTPに類似）、Log Monitoring（ストリーミング分析）、PageRank（反復的グラフ計算）の3つの代表的テスト仕様を実装し、それぞれが実世界のユースケースを反映している。
• データ生成ツール（例：BDGS）とワークロードインジェクション戦略（例：1秒間に5000件の操作）を用い、大規模データの速度と体積の特性をシミュレートすることで、テスト対象システム（SUT）のメモリ圧力を確保する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、構造化データと非構造化データの両方を含め、さまざまな処理パターンにわたる大規模データ処理ワークロードの多様性を包括的に表現できるか？
• RQ2 BigOPの操作とパターンの抽象化は、YCSB、TPC-DS、BigBenchといった既存ベンチマークと比較して、ベンチマークの柔軟性とカバー範囲をどの程度向上させるか？
• RQ3 グラフ処理や機械学習ワークロードで一般的な反復処理パターンは、形式的なフレームワークを用いて効果的にモデル化・ベンチマーク化できるか？
• RQ4 異なる大規模データシステム間で、現実性と再現可能性を両立させつつ、アプリケーション固有および一般システム評価をサポートするように、ワークロード仕様をどのように設計できるか？
• RQ5 現在のベンチマークは、データインジェクション、変換、複雑な分析を含む大規模データ処理スタックの全範囲をどの程度カバーしていないか？

主な発見

• BigOPは、反復処理、非構造化データ変換、多様な操作の組み合わせを含めることで、既存ベンチマークよりも大規模データワークロードのカバー範囲が広がっている。
• Fast Storage（YCSBに類似）、Log Monitoring（ストリーミング分析）、PageRank（グラフ計算）といった実世界のワークロードを効果的にモデル化しており、分野を越えた応用可能性が示された。
• YCSB や TPC-DS は反復処理および非構造化データのサポートを欠き、BigBench は反復パターンを欠いているため、現代の大規模データシステムの代表性に制限がある。
• 仕様ベースの設計により、システム間で一貫性があり再現可能なベンチマークが可能となり、同一の運用およびデータ条件下での性能比較が直接可能になった。
• SUTのメモリ容量を超えるデータサイズを用いた合成データ生成により、BigOPは大規模データの体積特性がテストに反映されることを保証した。
• フレームワークの拡張性により、将来的な新しい操作やパターンの追加が可能であり、ベンチマーク基準の段階的かつ継続的な進化を支援できる。