[論文レビュー] FAST CLOUD: Pushing the Envelope on Delay Performance of Cloud Storage with Coding

Guanfeng Liang, Ulaş C. Kozat|arXiv (Cornell University)|Jan 7, 2013

Advanced Data Storage Technologies参考文献 15被引用数 6

ひとこと要約

本稿では、エラー訂正符号化、並列接続、動的コードレート選択を組み合わせることで、クラウドストレージのアクセス遅延を顕著に低減する、負荷に適応する符号化およびチャンク分割フレームワーク「FAST CLOUD」を提案する。2 MBのファイルに対して、わずか1.75倍のストレージオーバーヘッドで99パーセンタイル遅延を最大85％削減し、実時間のバックログ閾値に基づくキューの状態に適応する仕組みにより、固定レートポリシーを上回る性能を発揮する。

ABSTRACT

Our paper presents solutions that can significantly improve the delay performance of putting and retrieving data in and out of cloud storage. We first focus on measuring the delay performance of a very popular cloud storage service Amazon S3. We establish that there is significant randomness in service times for reading and writing small and medium size objects when assigned distinct keys. We further demonstrate that using erasure coding, parallel connections to storage cloud and limited chunking (i.e., dividing the object into a few smaller objects) together pushes the envelope on service time distributions significantly (e.g., 76%, 80%, and 85% reductions in mean, 90th, and 99th percentiles for 2 Mbyte files) at the expense of additional storage (e.g., 1.75x). However, chunking and erasure coding increase the load and hence the queuing delays while reducing the supportable rate region in number of requests per second per node. Thus, in the second part of our paper we focus on analyzing the delay performance when chunking, FEC, and parallel connections are used together. Based on this analysis, we develop load adaptive algorithms that can pick the best code rate on a per request basis by using off-line computed queue backlog thresholds. The solutions work with homogeneous services with fixed object sizes, chunk sizes, operation type (e.g., read or write) as well as heterogeneous services with mixture of object sizes, chunk sizes, and operation types. We also present a simple greedy solution that opportunistically uses idle connections and picks the erasure coding rate accordingly on the fly. Both backlog and greedy solutions support the full rate region and provide best mean delay performance when compared to the best fixed coding rate policy. Our evaluations show that backlog based solutions achieve better delay performance at higher percentile values than the greedy solution.

研究の動機と目的

• Amazon S3のようなクラウドストレージシステムにおける高い変動性と劣悪な遅延性能、特に小〜中規模オブジェクトに対して問題を解決すること。
• チャンク分割、エラー訂正符号化、並列アクセスがクラウドストレージにおけるキューイング遅延とサービス遅延に与える影響を分析すること。
• キューのバックログ閾値に基づき、負荷に適応するアルゴリズムを設計し、エンドツーエンド遅延を最小化すること。
• 均一かつ非均一なワークロードをサポートし、オブジェクトサイズ、チャンクサイズ、操作タイプ（読み取り／書き込み）の混合を扱えるようにすること。
• 事前に負荷を把握しない状態で、空き接続を機会的に活用し、符号化レートをリアルタイムで調整するグリーディでオンザフライの適応戦略を開発すること。

提案手法

• エラー訂正符号化に起因する相互依存的なサービス時間を取り入れた、M/G/kの拡張版であるキューイングモデルを提案。ここで、n個の符号化断片のうちk個が完了すれば十分である。
• チャンク分割、FEC、複数サーバーを想定したシステムにおける平均遅延の閉形式近似を導出。負荷依存のサービスレートを考慮している。
• 事前に計算されたキューのバックログ閾値に基づき、各リクエストに対して最適なコードレートを選択する負荷適応型アルゴリズムを導入。
• 負荷の事前知識なしに、利用可能な空き接続に基づき符号化レートを動的に調整するグリーディなオンラインアルゴリズムを設計。
• 遅延と負荷のトレードオフをモデル化するための凸最適化フレームワークを用い、目的関数にキューイング遅延とサービス遅延の両方を組み込む。
• 最適なコードベクトルが実行可能領域内に存在する理論的条件を確立。これにより、適応ポリシーの収束性と安定性が保証される。

実験結果

リサーチクエスチョン

• RQ1 エラー訂正符号化に加え、チャンク分割と並列アクセスを組み合わせることで、Amazon S3のようなクラウドストレージシステムにおける遅延分布にどのような影響を与えるか？
• RQ2 コードレートとチャンク分割が、クラウドストレージシステムにおける対応可能なリクエストレートとキューイング遅延に与える影響は何か？
• RQ3 リアルタイムのキューのバックログに基づく動的コードレート適応は、固定レート符号化ポリシーを上回る遅延性能を達成できるか？
• RQ4 オブジェクトサイズ、チャンクサイズ、操作タイプの混合がある非均一なワークロード下でも、システムの性能はどのようになるか？
• RQ5 適応的エラー訂正符号化をクラウドストレージで使用する際、ストレージオーバーヘッドと遅延削減のトレードオフはどのようなものか？

主な発見

• 2 MBのファイルに対して、FAST CLOUDは非符号化ストレージと比較して平均遅延を76％、90パーセンタイル遅延を80％、99パーセンタイル遅延を85％削減する。
• 提案された負荷適応型バックログベースのアルゴリズムは、グリーディなオンライン手法よりも高いパーセンタイルにおける遅延性能を達成する。
• 高負荷下でも、非符号化ストレージの全レート領域をサポートしながら、平均遅延を低く維持できる。
• エラー訂正符号化とチャンク分割は、負荷に適応するレート適応が組み合わさらないと遅延性能を向上させない。それ以外の場合は、負荷の増加により性能が劣化する。
• 最適なコードレートは固定ではなく、現在の負荷とキューのバックログに依存する。高利用度下では、低レートの符号化が容量を拡張する。
• 理論的分析により、優れたコードベクトルは性能の観点から完全順序で整列しており、リアルタイムでの効率的探索と適応が可能であることが確認された。