[論文レビュー] Task Allocation for Distributed Stream Processing

Raphael Eidenbenz, Thomas Locher|arXiv (Cornell University)|Jan 22, 2016

Cloud Computing and Resource Management参考文献 15被引用数 5

ひとこと要約

この論文は、分散ストリーム処理におけるタスク割り当て問題をNP困難な最適化問題として定式化し、系列並列分解可能なグラフに対して多項式時間近似アルゴリズムを提案する。通信コストが計算コストに比べて小さいという仮定の下で、リソース数がタスク数に対して対数的に増加する場合、定数倍近似が達成される。

ABSTRACT

There is a growing demand for live, on-the-fly processing of increasingly large amounts of data. In order to ensure the timely and reliable processing of streaming data, a variety of distributed stream processing architectures and platforms have been developed, which handle the fundamental tasks of (dynamically) assigning processing tasks to the currently available physical resources and routing streaming data between these resources. However, while there are plenty of platforms offering such functionality, the theory behind it is not well understood. In particular, it is unclear how to best allocate the processing tasks to the given resources. In this paper, we establish a theoretical foundation by formally defining a task allocation problem for distributed stream processing, which we prove to be NP-hard. Furthermore, we propose an approximation algorithm for the class of series-parallel decomposable graphs, which captures a broad range of common stream processing applications. The algorithm achieves a constant-factor approximation under the assumptions that the number of resources scales at least logarithmically with the number of computational tasks and the computational cost of the tasks dominates the cost of communication.

研究の動機と目的

• 分散ストリーム処理におけるタスク割り当て問題を理論的最適化問題として明確に定義すること。
• 系列並列グラフという制限付きクラスに対しても、タスク割り当て問題がNP困難であることを確立すること。
• 計算コストと通信コストに関する実用的仮定の下で、近似的に最適な性能を保証する近似アルゴリズムを開発すること。
• 実世界のストリーム処理プラットフォームにおけるタスク割り当て最適化の理論的基盤を提供すること。
• 一般の有向無閉路ストリーミングトポロジに対して、有界な近似比を達成可能かどうかを検討すること。

提案手法

• ストリーミングトポロジを、ノードが計算タスクを表し、エッジがデータフローを表す有向無閉路グラフ（DAG）としてモデル化する。
• ノードに重みを割り当て、各データアイテムの処理に一様かつ独立した処理負荷を仮定する。
• 系列および並列処理パターンを有する一般的なストリーム処理ワークロードをモデル化するため、系列並列分解可能なグラフのクラスを導入する。
• 系列並列グラフの構造的性質を活用して、合計処理コストを最小化する近似アルゴリズムを提案する。
• 計算コストが通信コストを支配するという仮定の下で、近似比が $\mathcal{O}(n^{\mathcal{O}(1/c)})$ であることを導出する。$c \in \Omega(\log n)$ のとき、これは定数倍に簡略化される。
• 部分グラフの系列および並列合成に基づく再帰的分解戦略を用いて、タスク配置意思決定をガイドする。

実験結果

リサーチクエスチョン

• RQ1 分散ストリーム処理のタスク割り当て問題は、系列並列グラフに制限されてもNP困難であるか？
• RQ2 現実的なコスト仮定の下で、タスク割り当てに対して定数倍近似が達成可能か？
• RQ3 提案されたアルゴリズムの近似比は何か？また、利用可能なリソース数とタスク数にどのように依存するか？
• RQ4 アルゴリズムの性能は、ストリーミングトポロジのサイズとリソースの可用性に伴いどのようにスケーリングするか？
• RQ5 一般の有向無閉路ストリーミングトポロジにおけるタスク割り当てに対して、どのような理論的保証を提供できるか？

主な発見

• 分散ストリーム処理におけるタスク割り当て問題は、ストリーミングトポロジが系列並列グラフに制限されてもNP困難であることが証明された。
• 提案された近似アルゴリズムは、物理的リソース数 $c$ がタスク数 $n$ に対して少なくとも対数的に増加する場合、最適解に対する定数倍近似を達成する。
• 計算コストが通信コストを支配するという仮定の下で、アルゴリズムの近似比は $\mathcal{O}(n^{\mathcal{O}(1/c)})$ で有界であり、$c \in \Omega(\log n)$ のとき定数倍に簡略化される。
• このアルゴリズムは、実用的なストリーム処理アプリケーションを広くカバーする系列並列分解可能なグラフクラスに特化して設計されている。
• 本研究で確立された理論的基盤により、タスク割り当て戦略の厳密な分析が可能となり、分散ストリーム処理システムの理解における空白を埋める。
• 結果から、実世界のストリーミングワークロードの広いクラスにおいて、最適または近似的に最適なタスク割り当てが多項式時間で達成可能であることが示唆される。