[論文レビュー] A survey of systems for massive stream analytics

Maninder Singh, Mohammad A. Hoque+1 more|arXiv (Cornell University)|May 29, 2016

Data Stream Mining Techniques参考文献 12被引用数 14

ひとこと要約

本論文は、大規模なリアルタイムデータ分析を目的とした最先端のストリーム処理システムについて包括的なサーベイと比較分析を提示している。オープンソース（例：Storm、Spark Streaming、S4）および商用ソリューション（例：Amazon Kinesis、IBM InfoSphere Streams）を評価し、遅延、障害耐性、スケーラビリティ、データモデルのサポートにおける主要な設計上のトレードオフを特定。ストリームコンピューティングは、高速度のデータストリームに対する低遅延・高スループット処理を要する現代のビッグデータワークロードにとって不可欠であると結論づけている。

ABSTRACT

The immense growth of data demands switching from traditional data processing solutions to systems, which can process a continuous stream of real time data. Various applications employ stream processing systems to provide solutions to emerging Big Data problems. Open-source solutions such as Storm, Spark Streaming, and S4 are the attempts to answer key stream processing questions. The recent introduction of real time stream processing commercial solutions such as Amazon Kinesis, IBM Infosphere Stream reflect industry requirements. The system and application related challenges to handle massive stream of real time data analytics are an active field of research. In this paper, we present a comparative analysis of the existing state-of-the-art stream processing solutions. We also include various application domains, which are transforming their business model to benefit from these large scale stream processing systems.

研究の動機と目的

• 大規模かつリアルタイムのデータワークロードを処理する既存のストリーム処理システムを分析・比較すること。
• 高速度のデータストリームにおけるデータ取得、処理、モデリング、マイニングに関するシステムレベルの課題を特定すること。
• 主なストリーム処理プラットフォーム間で、プログラミングモデル、障害耐性メカニズム、パフォーマンス特性のトレードオフを評価すること。
• オンラインゲーム、金融、スマートシティなどの分野におけるリアルタイムストリーム分析に依存する新興のユースケースを調査すること。
• アプリケーション固有の要件（遅延、スループット、データモデルのサポートなど）に基づいて最適なストリーム処理システムを選定する基盤を提供すること。

提案手法

• オープンソース（Storm、Spark Streaming、S4）および商用（Amazon Kinesis、IBM InfoSphere Streams、MillWheel）を含む10以上もの代表的なストリーム処理システムの比較分析を実施。
• アーキテクチャ、プログラミングモデル、障害耐性、遅延、データ永続性の能力に基づいてシステムを分類。
• メッセージ送信（例：StormにおけるZeroMQ）、処理モデル（例：Spark Streamingにおけるマイクロバッチ）、障害耐性メカニズム（例：Stormにおけるメッセージの保証付き処理）などのシステムコンポONENTを評価。
• リアルタイム環境におけるデータ取得、データ処理、データモデリング、データマイニングの4つの次元にわたるシステムの課題を分析。
• リアルタイムゲーム分析にAmazon Kinesisを活用したSupercellの事例や、低遅延処理を要する金融サービス分野の事例を検討。
• 得られた知見を統合し、低遅延、スケーラビリティ、障害耐性といったアプリケーション固有のニーズに基づくストリーム処理システム選定のための設計原則を提示。

実験結果

リサーチクエスチョン

• RQ1 主要なオープンソースおよび商用ストリーム処理システム間における主なアーキテクチャ的・設計的差異は何か？
• RQ2 Storm、Spark Streaming、S4のようなシステムにおいて、障害耐性メカニズムとメッセージ配信保証はどのように異なるか？
• RQ3 リアルタイム処理システムにおいて、高速度・多様性の高いデータストリームを処理する際の主な課題は何か？
• RQ4 プログラミングモデルとデータモデルは、ストリーム処理におけるシステムのパフォーマンス、遅延、スケーラビリティにどのように影響を与えるか？
• RQ5 オンラインゲームや金融アナリティクスのような実世界のアプリケーションにストリーム処理を導入する際の重要なシステム要件は何か？

主な発見

• Stormは、ZeroMQを用いたメッセージ送信とトポロジーベースのアーキテクチャにより、1秒未塔の遅延と強力な障害耐性（メッセージの保証付き処理）を実現している。
• Spark Streamingはマイクロバッチ処理モデルを採用しており、正確に一度だけの配信セマンティクスを提供し、バッチ処理とストリーム処理のワークロード統合が可能であるが、ネイティブストリームシステムに比べて遅延が高くなる。
• S4は永続的な状態を備えておらず、完全な障害耐性を備えていないため、状態依存のミッションクリティカルなアプリケーションには不適切である。
• Amazon Kinesis や IBM InfoSphere Streams といった商用システムは、クラウドベースのリアルタイムアナリティクスに統合されたマネージドでスケーラブルなソリューションを提供しており、特にゲーム業界や金融サービス分野で活用されている。
• 本研究では4つの主要な課題を特定した：データ取得（速度と多様性の処理）、データ処理（永続ストレージのトレードオフ）、データモデリング（予測およびイベント検出）、データマイニング（異種データに対する動的アナリティクス）。
• 本研究は、ストリームコンピューティングが現代のビッグデータワークロードにとって不可欠であると結論づけ、低遅延、高スループット、障害耐性、多様なデータタイプおよびユースケースに対応可能な拡張性を兼ね備えたシステムのバランスが求められるとした。