[論文レビュー] Tail Index for a Distributed Storage System with Pareto File Size Distribution

Vaneet Aggarwal, Tian Lan|arXiv (Cornell University)|Jul 20, 2016

Advanced Data Storage Technologies参考文献 23被引用数 4

ひとこと要約

本稿では、パレート分布に従うファイルサイズを伴うエラー訂正符号化された分散ストレージシステムにおける尾遅延を定量化するための数学的枠組みを提案する。チャックリクエストスケジューリングを確率論的にモデル化し、ラプラス＝スティルチェス変換を用いてキューイング行動を分析することで、システム遅延の尾指数が正確に α−1 であることを証明し、確率的スケジューリングアルゴリズムの族がこの最適な尾指数を達成することを示している。これにより、長尾応答時間を最小化する観点で漸近的に最適な性能が達成可能であることが明らかになった。

ABSTRACT

Distributed storage systems often employ erasure codes to achieve high data reliability while attaining space efficiency. Such storage systems are known to be susceptible to long tails in response time. It has been shown that in modern online applications such as Bing, Facebook, and Amazon, the long tail of latency is of particular concern, with $99.9$th percentile response times that are orders of magnitude worse than the mean. Taming tail latency is very challenging in erasure-coded storage systems since quantify tail latency (i.e., $x$th-percentile latency for arbitrary $x\in[0,1]$) has been a long-standing open problem. In this paper, we propose a mathematical model to quantify {\em tail index} of service latency for arbitrary erasure-coded storage systems, by characterizing the asymptotic behavior of latency distribution tails. When file size has a heavy tailed distribution, we find tail index, defined as the exponent at which latency tail probability diminishes to zero, in closed-form, and further show that a family of probabilistic scheduling algorithms are (asymptotically) optimal since they are able to achieve the exact tail index.

研究の動機と目的

• エラー訂正符号化された分散ストレージシステムにおける尾遅延を定量化するという長年の未解決問題に取り組むこと。
• ファイルサイズが重尾を持つパレート分布に従う場合の、遅延分布の尾の漸近的挙動をモデル化・分析すること。
• 確率的スケジューリング方針が最適な尾指数性能を達成できるかどうかを特定すること。
• システム全体の遅延における尾指数の理論的上限と達成可能性を確立すること。

提案手法

• 著者らは、ポアソン到着と指数分布サービス時間を有する独立した M/G/1 キューとして各ストレージノードをモデル化し、ラプラス＝スティルチェス変換を用いてチャックリクエストの待機時間の尾確率を導出する。
• ファイルサイズが形状母数 α のパレート分布に従う場合、単一サーバーにおける待機時間の尾指数が α−1 であることを同定する。
• すべての n 台のサーバーを1つの仮想サーバーに統合することで、ジェニーアイド上界の議論を用い、いかなるシステムも α−1 より優れた尾指数を達成できないことを示す。
• 確率的スケジューリングは、k 個のチャックリクエストを n 個のノードのうち k 個に固定確率で割り当てるものとして形式化され、各サーバーが到着率が k/n 比例のポアソン到着過程を受けることを保証する。
• ファイル全体の遅延は k 個のチャック遅延の最大値によって上界づけられる。k 個のサーバーにおける和集合の上界を用いることで、確率的スケジューリング下でも尾指数が α−1 のまま維持されることを示す。
• 正規に変動する関数の性質および不完全ガンマ関数の漸近的挙動を活用して、尾指数を導出する。

実験結果

リサーチクエスチョン

• RQ1 ファイルサイズがパレート分布に従う場合、エラー訂正符号化ストレージシステムにおける尾遅延の根本的限界は何か？
• RQ2 確率的スケジューリングは、システム遅延の最適な尾指数を達成できるか？
• RQ3 個々のサーバーキューの尾指数は、全体のファイル遅延分布にどのように寄与するか？
• RQ4 パレート形状母数 α は、システムの尾挙動を決定づける役割を果たすか？

主な発見

• ファイルサイズが形状母数 α のパレート分布に従う場合、単一サーバーにおける待機時間分布の尾指数は正確に α−1 である。
• システム全体の遅延の尾指数は、サーバー数やエラー訂正符号パラメータに関係なく、α−1 で上界づけられる。
• 確率的スケジューリング方針は、最適な尾指数 α−1 を達成しており、長尾応答時間を最小化する観点で漸近的に最適である。
• サーバー数が n を超えても、サーバー数が有限でかつ各サーバー間でチャックアクセスパターンが一貫している限り、この結果は成立する。
• 尾指数は k 個のチャックリクエストのうち最も遅いものに支配され、正規に変動する関数の和の性質により、k 個のサーバーにおける和集合の上界が α−1 の尾指数を維持する。
• 解析により、システムの尾挙動は最も重い尾を持つ成分に支配され、いかなるスケジューリング方針でも α−1 より優れた尾指数を達成できないことが確認された。