[論文レビュー] Non-Asymptotic Delay Bounds for Multi-Server Systems with Synchronization Constraints

Markus Fidler, Brenton Walker+1 more|arXiv (Cornell University)|Oct 20, 2016

Advanced Queuing Theory Analysis参考文献 36被引用数 5

ひとこと要約

本稿では、同期制約を伴うマルチサーバー分岐結合システムにおける非漸近的統計的遅延バウンドを導出するためのmax-plusサーバーモデルを提案する。その結果、$h$段階および$k$台の並列サーバーを有するシステムにおいて、エンドツーエンド遅延が$\mathcal{O}(h\ln k)$のオーダーで増加することが示された。この手法により、Spark や Hadoop などのマルチステージデータ処理システムの厳密な性能解析が可能となり、一般の到着プロセスおよびサービスプロセス下でも、分岐結合構成が一般的に古典的なマルチサーバー構成を上回ることが明らかになった。

ABSTRACT

Multi-server systems have received increasing attention with important implementations such as Google MapReduce, Hadoop, and Spark. Common to these systems are a fork operation, where jobs are first divided into tasks that are processed in parallel, and a later join operation, where completed tasks wait until the results of all tasks of a job can be combined and the job leaves the system. The synchronization constraint of the join operation makes the analysis of fork-join systems challenging and few explicit results are known. In this work, we model fork-join systems using a max-plus server model that enables us to derive statistical bounds on waiting and sojourn times for general arrival and service time processes. We contribute end-to-end delay bounds for multi-stage fork-join networks that grow in $\mathcal{O}(h \ln k)$ for $h$ fork-join stages, each with $k$ parallel servers. We perform a detailed comparison of different multi-server configurations and highlight their pros and cons. We also include an analysis of single-queue fork-join systems that are non-idling and achieve a fundamental performance gain, and compare these results to both simulation and a live Spark system.

研究の動機と目的

• 大規模データフレームワーク（Spark や Hadoop など）で一般的に見られる同期制約を伴うマルチサーバーシステムにおけるエンドツーエンド遅延を分析する課題に対処すること。
• 漸近的または近似に基づく手法の限界を克服するため、一般の到着プロセスおよびサービスプロセスに適用可能な統計的遅延バウンドフレームワークを構築すること。
• 同期制約下での遅延性能について、分岐結合、シングルキュー、および古典的マルチサーバー構成といったさまざまなマルチサーバー構成を比較すること。
• 非i.i.d.サービス時間の取り扱いや段階間の統計的独立性を組み込むことで、先行研究を拡張し、マルチステージネットワークにおける遅延スケーリングの性質を証明すること。

提案手法

• 同期制約を表現し、合成的解析を可能にするmax-plusサーバーモデルを用いて分岐結合システムをモデル化する。
• モーメント生成関数（MGF）技術とスーパーマルティンググールの議論を適用し、待ち時間および滞在時間の尾部バウンドを導出する。
• チェルノフの不等式と負の二項級数推定を用いて、マルチステージネットワークにおけるエンドツーエンド遅延のMGFをバウンディングする。
• 段階間の統計的独立性を活用し、$h$段階および$k$台の並列サーバーに対して、きめ細かい$\mathcal{O}(h\ln k)$の遅延スケーリングを導出する。
• 一般のトラフィックおよびサービスプロセス下での分岐結合システムに対するサービスカーブの定式化を導入する。
• シミュレーションと実際のSparkデプロイメントとの比較を通じて、結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 $k$台の並列サーバーを各段階に有する$h$段階のマルチステージ分岐結合ネットワークにおいて、エンドツーエンド遅延はどのようにスケーリングするか？
• RQ2 一般の到着プロセスおよびサービスプロセス（非i.i.i.d.サービス時間を含む）下での分岐結合システムにおける統計的遅延バウンドは何か？
• RQ3 同期制約下で、分岐結合、シングルキュー、および古典的マルチサーバー構成といったさまざまなマルチサーバー構成の遅延性能は、どのように比較できるか？
• RQ4 max-plusサーバーモデルを用いて、段階間の統計的独立性を仮定したマルチステージネットワークにおける非漸近的遅延バウンドを導出できるか？
• RQ5 分岐結合システムにおけるタスクのレプリケーションおよびロードバランシングは、標準構成と比較して性能にどのような影響を与えるか？

主な発見

• $h$段階のマルチサーバー分岐結合ネットワークにおけるエンドツーエンド遅延は、各段階の並列サーバー数$k$に対して$\mathcal{O}(h\ln k)$のオーダーで増加する。
• 分岐結合システムは、一般および非i.i.i.d.サービスプロセス下でも、一般的に古典的マルチサーバー構成を上回る性能を示す。
• シングルキュー分岐結合システムは、無駄な待機時間を回避することで根本的な性能向上を達成し、非アイドル構成を上回る。
• $\mathcal{O}(h\ln k)$の遅延スケーリングは、段階間独立性を仮定しない先行研究の$\mathcal{O}(h\ln(hk))$バウンドよりもきめ細かい。
• MGFおよびチェルノフ手法を用いて導出した理論的遅延バウンドは、シミュレーションおよび実際のSparkデプロイメントと強く一致する。
• マルチパスルーティングおよびロードバランシングは、低～中程度の利用率下でのみ有益である。それ以上の利用率では、同期制約に起因する再順序化遅延が支配的になる。