[論文レビュー] A Survey of State Management in Big Data Processing Systems

Quoc-Cuong To, Juan Soto+1 more|arXiv (Cornell University)|Feb 6, 2017

Cloud Computing and Resource Management参考文献 112被引用数 5

ひとこと要約

本調査は、Apache Flink、Spark、Samza、Stormなどのフレームワークを含む、ビッグデータ処理システムにおける状態管理の役割を包括的に分析している。状態管理手法の分類法を提案し、設計上のトレードオフを比較し、スケーラブルでフェイルセーフなストリーム処理システムの今後の研究を導くための未解決の研究課題を特定している。

ABSTRACT

State management and its use in diverse applications varies widely across big data processing systems. This is evident in both the research literature and existing systems, such as Apache Flink, Apache Samza, Apache Spark, and Apache Storm. Given the pivotal role that state management plays in various use cases, in this survey, we present some of the most important uses of state as an enabler, discuss the alternative approaches used to handle and implement state, propose a taxonomy to capture the many facets of state management, and highlight new research directions. Our aim is to provide insight into disparate state management techniques, motivate others to pursue research in this area, and draw attention to some open problems.

研究の動機と目的

• ストリーム処理ワークロードにおける状態の多様な役割（イベント時刻処理、ウィンドウ処理、ステートフルなストリーム処理など）を分析すること。
• 現代の分散ストリーム処理システムで用いられる状態管理アプローチのスケールを特定し、分類すること。
• 一貫性、耐障害性、パフォーマンスのトレードオフなどの多様な次元を捉える統一された分類法を提供すること。
• ステートフルなストリーム処理における未解決の研究課題と新興トレンドを強調し、今後のシステム設計と研究を導くこと。
• スケーラブルでフェイルセーフなストリーム処理システムに取り組む研究者や実務家にとっての基盤的リファレンスとして機能すること。

提案手法

• Apache Flink、Spark、Samza、Stormなどの生産環境向けストリーム処理システムを調査・分析し、状態管理のパターンを抽出すること。
• 状態スコープ、一貫性モデル、障害耐性メカニズム、データアクセスパターンなどの特性に基づいて、多次元的な状態管理分類法を定義すること。
• 状態ストレージと更新セマンティクス（主にメモリ内ストレージ対永続ストレージ、チェックポイント戦略）に応じてシステムを分類すること。
• 異なるシステム設計における状態処理のパフォーマンス、障害耐性、一貫性のトレードオフを評価すること。
• 現代のシステムに見られるアーキテクチャパターン（ステートフルなオペレータ、チェックポイント、ステートバックエンド抽象化など）を同定すること。
• 学術的文献と産業界の実装から得た知見を統合し、現在の状態管理手法におけるギャップと機会を浮き彫りにすること。

実験結果

リサーチクエスチョン

• RQ1 ビッグデータストリーム処理システムにおいて、状態管理を必要とする主なユースケースは何ですか？
• RQ2 Flink、Spark、Stormなどの異なるストリーム処理フレームワークは、どのように状態管理を実装しており、それらの特徴的な設計選択は何ですか？
• RQ3 一貫性、耐久性、パフォーマンスの観点から、状態管理手法を区別する主要な次元は何ですか？
• RQ4 スケーラブルでフェイルセーフなストリーム処理システムにおける状態管理の未解決の課題と研究ギャップは何か？
• RQ5 標準化された分類法は、異なるシステム間での状態管理手法の比較と進展をどのように支援できますか？

主な発見

• ウィンドウ処理、イベント時刻処理、反復的アルゴリズムなどの複雑なストリーム処理ワークロードでは、状態管理が不可欠である。
• Apache Flink は、軽量で分散型のチェックポイントを用いて強い一貫性と障害耐性を実現しているが、Spark は永続的状態を用いたマイクロバッチ処理を採用している。
• 一貫性、パフォーマンス、耐久性のトレードオフを明確に把握するため、状態管理の明確な分類法がシステム比較に不可欠である。
• 多くのシステムが低遅延処理のためメモリ内状態に依存しているが、これにはチェックポイントとステートスナップショットによる障害耐性の課題が伴う。
• システム間で標準化されたインターフェースが欠如しているため、状態管理のポータビリティが制限され、新しいステートフルなパターンの採用が妨げられている。
• 新興の研究分野には、ハイブリッドステートストレージ、インクリメンタルチェックポイント、サーバessやエッジ環境における複雑なステートフル操作のサポートが含まれる。