[論文レビュー] The MDS Queue: Analysing Latency Performance of Codes and Redundant Requests

Nihar B. Shah, Kangwook Lee+1 more|arXiv (Cornell University)|Nov 23, 2012

Advanced Data Storage Technologies参考文献 22被引用数 23

ひとこと要約

本稿では、最大距離分離（MDS）コードを用いたデータセンタでの遅延性能を分析するためのMDSキュー・モデルを導入し、MDS符号化システムがレプリケーションと比較して平均遅延を最大70％まで低減することを示している。さらに、理論的に冗長なリクエスト（必要な数より多くのリクエストを送信すること）が遅延をさらに低減できることを示し、指数分布に従うサービス時間と無視できるキャンセルコストを仮定した場合、すべてのサーバーにリクエストを送信した際が最適な性能を示すことを明らかにした。

ABSTRACT

In order to scale economically, data centers are increasingly evolving their data storage methods from the use of simple data replication to the use of more powerful erasure codes, which provide the same level of reliability as replication-based methods at a significantly lower storage cost. In particular, it is well known that MaximumDistance-Separable (MDS) codes, such as Reed-Solomon codes, provide the maximum storage efficiency. While the use of codes for providing improved reliability in archival storage systems, where the data is less frequently accessed (or so-called “cold data”), is well understood, the role of codes in the storage of more frequently accessed and active “hot data”, where latency is the key metric, is less clear. In this paper, we study data storage systems based on MDS codes through the lens of queueing theory, and term this the “MDS queue.” We analytically characterize the latency performance of MDS queues, for which we present insightful scheduling policies that form upper and lower bounds to performance, and show that they are quite tight. Extensive simulations using Monte Carlo methods are also provided and used to validate our theoretical analysis. As a side note, our lower-bound analytical method based on the so-called MDS-Reservation(t) queue, represents an elegant practical scheme that requires the maintenance of considerably smaller state, depending on the parameter t, than that of the full-fledged MDS queue (which corresponds to t =∞), and may be of independent interest in practical systems. Comparisons with replication-based systems reveal that codes provide a superior latency-performance (by up to 70%) than replication. The second part of the paper considers an alternative method of (potentially) reducing latency in data centers, that of sending redundant requests. Here, a request is sent to more servers than required, and is deemed served when any requisite number of servers complete service. Several recent works provide empirical evidence of the benefits of redundant requests in various settings, and in this paper, we aim to analytically characterize the situations when can redundant requests actually help. We show that under the MDS queue model (with exponential service times and negligible costs of cancelling jobs), in a replication-based system, the average latency strictly reduces with more redundancy in the requests, and that under a general MDS code, the average latency is minimized when requests are sent to all servers. To the best of our knowledge, these are the first analytical results that prove the benefits of sending redundant requests.

研究の動機と目的

• 頻繁にアクセスされる『ホットデータ』の文脈において、低遅延が求められるデータセンタのMDS符号化ストレージ・システムの遅延性能を理解すること。
• キューイング理論を用いてMDSキューをモデル化・分析し、遅延性能に関する解析的バウンドを提供すること。
• レプリケーションベースおよびMDS符号化システムにおける遅延低減に及ぼす冗長リクエストの影響を評価すること。
• 現実的な仮定のもとで平均遅延を最小化する最適なスケジューリング方針および冗長性戦略を特定すること。

提案手法

• 指数分布に従うサービス時間のもとで遅延を分析できるように、MDSコードを用いたデータセンターストレージ・システムをM/D/1型のキューイング・システムとしてモデル化し、これを『MDSキュー』と呼ぶ。
• スケジューリング方針を用いて遅延性能の解析的上界および下界を導出し、下界はMDSリザーブ（t）キュー・モデルに基づく。
• 理論的結果の妥当性を検証し、さまざまなシステムパラメータにおける性能を評価するためにモンテカルロ・シミュレーションを実施。
• 必要な応答数よりも多くのサーバーにリクエストを転送する冗長リクエストをモデル化し、必要な数の応答が得られ次第処理を完了するとみなす。
• キューイング理論を応用して、レプリケーションおよびMDS符号化システムの両方において、冗長性を増加させることで平均遅延が低減することを証明。
• 完全なMDSキューの状態維持を軽減できる軽量な近似モデルとして、MDSリザーブ（t）キューを導入。パラメータtを調整することで性能とコストのトレードオフを制御可能。

実験結果

リサーチクエスチョン

• RQ1 ホットデータ向けのデータセンターストレージ・システムにおいて、MDSコードの使用が平均遅延に与える影響は何か？
• RQ2 MDS符号化システムにおける遅延性能の理論的上界および下界は何か？また、それらのバウンドはどの程度きついのか？
• RQ3 どのような状況で冗長リクエストが遅延を低減するのか？また、冗長性はシステムパラメータにどのように依存するのか？
• RQ4 レプリケーションベースとMDS符号化システムの両方において、冗長リクエストの性能はどのように比較できるか？
• RQ5 指数分布に従うサービス時間のもとで、冗長リクエストが遅延低減に寄与することを解析的モデルが証明できるか？

主な発見

• 同じワークロード条件下で、MDS符号化ストレージ・システムはレプリケーションベースのシステムと比較して平均遅延を最大70％まで低減する。
• MDSリザーブ（t）キューは、遅延性能のきつい下界を提供しており、特にtが小さい場合に完全なMDSキューと比較して大幅に少ない状態維持が可能である。
• レプリケーションベースのシステムでは、冗長リクエストの数を増やすことで平均遅延は単調に減少するが、冗長性が増すに従い効果の逓減が見られる。
• MDS符号化システムでは、リクエストをすべてのサーバーに送信した際に平均遅延が最小化され、完全な冗長性が最適であることが示された。
• 理論的解析により、レプリケーションおよびMDS符号化システムの両方において、冗長リクエストが測定可能な遅延低減効果をもたらすことが確認され、指数分布に従うサービス時間のもとでのこの効果の最初の解析的証明がなされた。
• モンテカルロ法を用いたシミュレーションにより理論的バウンドの妥当性が検証され、多様なシステム構成において解析モデルのきついバウンドであることが確認された。