[論文レビュー] Beyond Batch Processing: Towards Real-Time and Streaming Big Data

Saeed Shahrivari, Saeed Jalili|arXiv (Cornell University)|Mar 13, 2014

Cloud Computing and Resource Management参考文献 13被引用数 7

ひとこと要約

この論文は、Hadoopのバッチ処理モデルからリアルタイムおよびストリーミング大規模データ処理への移行を提案し、リアルタイムおよびストリーミング処理パラダイムを代替として評価している。実験的に評価した結果、Apache Storm や Spark Streaming といったシステムは、Hadoop と比較して遅延が低く、インタラクティブおよびストリーミングワークロードにおいて高い効率性を示している。

ABSTRACT

Today, big data is generated from many sources and there is a huge demand for storing, managing, processing, and querying on big data. The MapReduce model and its counterpart open source implementation Hadoop, has proven itself as the de facto solution to big data processing. Hadoop is inherently designed for batch and high throughput processing jobs. Although Hadoop is very suitable for batch jobs but there is an increasing demand for non-batch processes on big data like: interactive jobs, real-time queries, and big data streams. Since Hadoop is not proper for these non-batch workloads, new solutions are proposed to these new challenges. In this article, we discuss two categories of these solutions: real-time processing, and stream processing for big data. For each category, we discuss paradigms, strengths and differences to Hadoop. We also introduce some practical systems and frameworks for each category. Finally, some simple experiments are done to show effectiveness of some solutions compared to available Hadoop-based solutions.

研究の動機と目的

• 従来のバッチ処理を超えて、大規模データの低遅延処理に対する需要の増大に応えること。
• Hadoop の MapReduce モデルがリアルタイムおよびストリーミングワークロードを処理するうえで抱える制限を特定すること。
• Hadoop の代替として登場する新しいリアルタイムおよびストリーミング処理フレームワークを評価・比較すること。
• 実験を通じて、ストリーミングソリューションが Hadoop に依存するバッチ処理に比べて性能に優れていることを実証すること。

提案手法

• バッチ処理、リアルタイム処理、ストリーミング処理に大規模データワークロードを分類し、それぞれの処理ニーズを特定する。
• Hadoop（バッチ指向）とリアルタイム／ストリーミングシステム（低遅延、継続的処理）のアーキテクチャ的差異を分析する。
• リアルタイム処理（例：反復的計算）とストリーミング処理（例：継続的データフロー処理）の主要パラダイムを検討する。
• Hadoop と比較して、実用的なフレームワーク（例：Apache Storm（ストリーミング）と Spark Streaming（マイクロバッチストリーミング））をレビュー・比較する。
• Hadoop とストリーミングフレームワーク間のエンドツーエンド遅延とスループットを比較するための簡単な実験を設計・実施する。
• 同じワークロード条件下でのシステム性能を、遅延とスループットのメトリクスを用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 Hadoop のバッチ処理モデルは、リアルタイムおよびストリーミングデータワークロードをサポートするうえで、どのような主な制限を抱えているか？
• RQ2 Hadoop の MapReduce とは異なり、リアルタイムおよびストリーミング処理パラダイムは、アーキテクチャ的特徴や用途適合性においてどのように異なるか？
• RQ3 遅延とスループットの観点から、Hadoop と現代のストリーミングフレームワークとの間で生じる性能的トレードオフは何か？
• RQ4 Spark Streaming や Apache Storm のようなストリーミングフレームワークは、低遅延データ処理のシナリオにおいて Hadoop を上回る性能を発揮できるか？
• RQ5 リアルタイムインサイトを必要とする大規模データアプリケーションにおいて、ストリーミングシステムを採用する実用的影響は何か？

主な発見

• Hadoop のバッチ処理モデルは、顕著な遅延を伴うため、リアルタイムまたはインタラクティブなデータ処理には不適切である。
• Apache Storm や Spark Streaming といったリアルタイムおよびストリーミング処理フレームワークは、Hadoop よりも顕著に低いエンドツーエンド遅延を達成している。
• 実験的評価により、ストリーミングフレームワークは継続的データ処理ワークロードにおいて優れたパフォーマンスを発揮することが確認された。
• Spark Streaming はマイクロバッチ処理により効率が向上し、低遅延と高スループットの両立に成功している。
• 本研究では、1秒未塔の応答時間が必要なワークロードや継続的データ分析を要する処理には、Hadoop が最適ではないことが確認された。
• 結果から、不正検知や監視システムなど、リアルタイム分析を要するアプリケーションにおいて、ストリーミングフレームワークの導入が有効であることが裏付けられた。