[論文レビュー] Taming Tail Latency for Erasure-coded, Distributed Storage Systems

Vaneet Aggarwal, Abubakr O. Al-Abbasi+2 more|arXiv (Cornell University)|Mar 24, 2017

Advanced Data Storage Technologies参考文献 19被引用数 13

ひとこと要約

本稿では、エラー訂正符号化された分散ストレージシステムにおける尾遅延を最小化するための確率的スケジューリングおよび最適化フレームワークを提案する。ファイル配置、アクセス確率、リクエストスケジューリングを統合的にモデル化することで、現実のワークロード下で99.9パーセンタイルの遅延を顕著に低減する。ラプラス＝スティルチェス変換を用いた閉形式の尾遅延バウンディングと交互最適化を活用する。

ABSTRACT

Distributed storage systems are known to be susceptible to long tails in response time. In modern online storage systems such as Bing, Facebook, and Amazon, the long tails of the service latency are of particular concern. with 99.9th percentile response times being orders of magnitude worse than the mean. As erasure codes emerge as a popular technique to achieve high data reliability in distributed storage while attaining space efficiency, taming tail latency still remains an open problem due to the lack of mathematical models for analyzing such systems. To this end, we propose a framework for quantifying and optimizing tail latency in erasure-coded storage systems. In particular, we derive upper bounds on tail latency in closed form for arbitrary service time distribution and heterogeneous files. Based on the model, we formulate an optimization problem to jointly minimize the weighted latency tail probability of all files over the placement of files on the servers, and the choice of servers to access the requested files. The non-convex problem is solved using an efficient, alternating optimization algorithm. Numerical results show significant reduction of tail latency for erasure-coded storage systems with a realistic workload.

研究の動機と目的

• エラー訂正符号化された分散ストレージシステムにおける高い尾遅延という重要な課題に対処する。99.9パーセンタイルの応答時間が平均値と比べて桁違いに悪化する場合がある。
• 尾遅延が最も遅いストレージノードに支配されており、共有サーバー上で並列に発生するチャンクリクエストの干渉によって悪化することを特定する。
• 異種のファイルに対して加重尾遅延確率を最小化するため、ファイル配置（S）、アクセス確率（π）、スケジューリング閾値（t）の3つを統合的に最適化する問題を定式化する。
• 任意のサービス時間分布に適用可能な、ラプラス＝スティルチェス変換と順序統計を用いたスケーラブルな解析的モデルを構築し、尾遅延をバウンディングする。
• 非凸最適化問題を解くために、S、π、tを交互に更新する効率的な反復最適化アルゴリズムを設計し、シミュレーションにより性能向上を検証する。

提案手法

• リクエスト時に、事前に定めた確率に従ってn台のストレージノードの中からk台を選択し、k個のチャンクリクエストを送信する確率的スケジューリングポリシーをシステムに導入する。
• 各ストレージノードのマージナルキューイング遅延分布を特徴付けるためにラプラス＝スティルチェス変換（LST）を用い、尾遅延の解析を容易にする。
• 順序統計と確率的優位性を用いて、任意のサービス時間分布および異種のファイルサイズに適用可能な、尾遅延の閉形式上界を導出する。
• ファイル配置（S）、アクセス確率（π）、スケジューリング閾値（t）を同時に最適化して、加重尾遅延確率を最小化する非凸最適化問題を定式化する。
• 他の変数を固定した上で、S、π、tを交互に更新するアルゴリズムを適用し、局所最適解への収束を保証する。
• ファイルサイズがチャンク処理時間に与える影響を反映させるために、シフト指数分布モデルにワークロードに適応したパラメータ（α, β）を統合する。

実験結果

リサーチクエスチョン

• RQ1 任意のサービス時間分布と異種のファイルワークロード下で、エラー訂正符号化された分散ストレージシステムにおける尾遅延をどのように解析的にバウンディングできるか？
• RQ2 ファイル配置、アクセス確率、スケジューリング閾値の統合的最適化が、加重尾遅延を最小化する上で果たす影響は何か？
• RQ3 高負荷下において、確率的スケジューリングは、最小キュー長選択といった決定論的戦略を上回り、尾遅延を低減できるか？
• RQ4 ファイルの到着レート、ファイルサイズ、遅延感度重みが、全体の尾遅延性能に与える影響は何か？
• RQ5 提案された最適化は、PEAP や WLTP といったベースラインポリシーと比較して、99.9パーセンタイルの遅延をどの程度低減するか？

主な発見

• 提案された最適化フレームワークは、すべてのファイルグループにおいて加重尾遅延確率を顕著に低減し、評価されたすべてのシナリオでPEAP や WLTP といったベースラインポリシーを上回る性能を示した。
• シミュレーションにより、アルゴリズムが高到着レートおよび高感度ファイルの尾遅延を効果的に最小化できることを確認した。特に遅延に最も敏感なグループ（ω₃）で、高い負荷下でも最も低い尾確率を達成した。
• ファイル数を200から1200に増加させても、最適化アルゴリズムがファイル配置とアクセスポリシーを再最適化することで、性能劣化を顕著に抑制した。
• ファイルサイズを700 MBまで拡大しても尾遅延が増加するが、最適化されたスケジューリングと配置により、ベースラインと比較して顕著に低い尾確率を維持した。
• 到着レートやファイル数の変動にかかわらず、PEAP や WLTP よりも低い尾遅延を達成しており、動的ワークロード下でも高いロバスト性を示した。
• 交互最適化アルゴリズムは効率的に収束し、配置、アクセス確率、スケジューリング閾値の統合的最適化を可能にした。その結果、現実のワークロード下で測定可能な性能向上が得られた。