[論文レビュー] Fault Tolerance for Stream Processing Engines

Muhammad Anis Uddin Nasir|arXiv (Cornell University)|May 3, 2016

Cloud Computing and Resource Management参考文献 33被引用数 5

ひとこと要約

本調査は、Storm、S4、Samza、Spark Streaming、MillWheel などの現代の分散ストリーム処理エンジン（DSPEs）におけるフォールトトレランス技術を分析し、アクティブレプリケーション、パッシブレプリケーション、アップストリームバックアップの3つに分類している。これらの手法がリアルタイムストリーム処理システムにおける低遅延、高スループット、高可用性要件に与える影響を評価している。

ABSTRACT

Distributed Stream Processing Engines (DSPEs) target applications related to continuous computation, online machine learning and real-time query processing. DSPEs operate on high volume of data by applying lightweight operations on real-time and continuous streams. Such systems require clusters of hundreds of machine for their deployment. Streaming applications come with various requirements, i.e., low-latency, high throughput, scalability and high availability. In this survey, we study the fault tolerance problem for DSPEs. We discuss fault tolerance techniques that are used in modern stream processing engines that are Storm, S4, Samza, SparkStreaming and MillWheel. Further, we give insight on fault tolerance approaches that we categorize as active replication, passive replication and upstream backup. Finally, we discuss implications of the fault tolerance techniques for different streaming application requirements.

研究の動機と目的

• Storm、S4、Samza、Spark Streaming、MillWheel などの現代の分散ストリーム処理エンジン（DSPEs）におけるフォールトトレランスメカニズムを分析すること。
• アクティブレプリケーション、パッシブレプリケーション、アップストリームバックアップの3つに分類して、フォールトトレランス戦略を特定・分類すること。
• これらのフォールトトレランス技術が、低遅延、高スループット、スケーラビリティ、高可用性といった重要なアプリケーション要件に与える影響を評価すること。
• DSPEにおける信頼性、パフォーマンス、リソース使用量のトレードオフに関する洞察を提供すること。

提案手法

• Storm、S4、Samza、Spark Streaming、MillWheel の5つの代表的なDSPEで用いられるフォールトトレランス技術を調査・分析すること。
• フォールトトレランスアプローチを3つのカテゴリに分類すること：アクティブレプリケーション、パッシブレプリケーション、アップストリームバックアップ。
• 各技術が遅延、スループット、障害回復時間といったシステム特性に与える影響を評価すること。
• 各エンジンのフォールトトレランスメカニズムの設計的選択と運用特性を比較すること。
• アプリケーションレベルの要件（低遅延、高可用性など）にフォールトトレランス戦略をマッピングすること。
• ストリーミング処理における一貫性、パフォーマンス、フォールトトレランスのトレードオフに関する構造的分析を提供すること。

実験結果

リサーチクエスチョン

• RQ1 現代のストリーム処理エンジンは、大規模な展開において高可用性を確保するために、どのようにフォールトトレランスを実装しているか？
• RQ2 DSPEにおけるアクティブレプリケーション、パッシブレプリケーション、アップストリームバックアップの特徴とトレードオフは何か？
• RQ3 フォールトトレランスメカニズムは、リアルタイムストリーム処理における低遅延および高スループット要件にどのように影響を与えるか？
• RQ4 異なるフォールトトレランス戦略は、システムのスケーラビリティおよびリソース使用量にどのような影響を及えるか？
• RQ5 DSPEにおけるフォールトトレランス技術は、継続的かつリアルタイムのデータ処理ワークロードの運用的要請とどのように整合しているか？

主な発見

• アクティブレプリケーションは回復遅延を低く抑えられるが、継続的な状態同期のためリソースのオーバーヘッドが高くなる。
• パッシブレプリケーションは1つのアクティブインスタンスを維持することでリソース使用量を削減できるが、状態の再再生が必要なため回復遅延が高くなる。
• アップストリームバックアップは外部のデータソースに依存して失われたデータを再処理するが、システムの複雑さを軽減できる一方、エンドツーエンドの遅延が増加する。
• フォールトトレランス技術の選択はシステムパフォーマンスに顕著な影響を与え、遅延、スループット、障害回復時間の間でトレードオフが生じる。
• MillWheel や Spark Streaming などの DSPE は、状態管理のオーバーヘッドを最小限に抑えるためにアップストリームバックアップを採用しており、単純さとスケーラビリティを重視している。
• Storm や Samza は、低遅延の障害回復を実現するためにアクティブレプリケーションを採用しており、リソースコストが高くなるものの、低遅延アプリケーションに適している。