[論文レビュー] TOFEC: Achieving Optimal Throughput-Delay Trade-off of Cloud Storage Using Erasure Codes

Guanfeng Liang, Ulaş C. Kozat|arXiv (Cornell University)|Jul 30, 2013

Advanced Data Storage Technologies参考文献 22被引用数 4

ひとこと要約

TOFECは、クラウドストレージにおける最適なスループット遅延トレードオフを達成するために、動的にチャンクサイズと冗長レベルを調整する適応的エラー制御戦略である。ローカルバックログを監視することで、軽負荷時には高チャンキング／並列処理に、重負荷時には低冗長度に切り替える。これにより、遅延最適化静的戦略よりも最大2.5倍低い遅延を達成し、スループット最適化戦略よりも3倍多くのリクエスト処理能力を実現する。

ABSTRACT

Our paper presents solutions using erasure coding, parallel connections to storage cloud and limited chunking (i.e., dividing the object into a few smaller segments) together to significantly improve the delay performance of uploading and downloading data in and out of cloud storage. TOFEC is a strategy that helps front-end proxy adapt to level of workload by treating scalable cloud storage (e.g. Amazon S3) as a shared resource requiring admission control. Under light workloads, TOFEC creates more smaller chunks and uses more parallel connections per file, minimizing service delay. Under heavy workloads, TOFEC automatically reduces the level of chunking (fewer chunks with increased size) and uses fewer parallel connections to reduce overhead, resulting in higher throughput and preventing queueing delay. Our trace-driven simulation results show that TOFEC's adaptation mechanism converges to an appropriate code that provides the optimal delay-throughput trade-off without reducing system capacity. Compared to a non-adaptive strategy optimized for throughput, TOFEC delivers 2.5x lower latency under light workloads; compared to a non-adaptive strategy optimized for latency, TOFEC can scale to support over 3x as many requests.

研究の動機と目的

• 固定されたエラー制御パラメータによるクラウドストレージシステムにおける非最適なスループット遅延トレードオフを解消すること。
• 非適応的戦略の限界を克服すること。これらの戦略は、高い冗長度によってシステム容量を犠牲にしたり、低い冗長度によって高い遅延を引き起こす。
• バックログをフィードバック信号として用いて、ワークロードの変化に応じて動的に適応するメカニズムを設計すること。
• すべてのワークロード条件において、遅延とスループットの理論的下限エナベロープを達成すること。
• Amazon S3のようなキーバリュークラウドストレージシステムに実用的かつ外部から導入可能なソリューションを提供すること。内部変更は不要である。

提案手法

• ファイルをk個のオリジナルチャンクとn−k個の冗長チャンクに分割するため、MDSコード(n,k)を用いたエラー制御を実施し、並列送信を可能にする。
• システムキュー長を監視することで最適なチャンキングと冗長度レベルを決定するバックログベースの適応的アルゴリズムを採用する。
• 軽負荷時にはチャンキングを増加（kを大きく）し、並列接続数も増やすことで遅延を最小化する。
• 重負荷時にはチャンキングを減少（kを小さく）し、並列接続数も減らすことでプロトコルおよびネットワークオーバーヘッドを低減し、スループットを最大化する。
• クラウドストレージを共有リソースとみなして、適応的に入念制御を行い、観察されたシステム状態に応じてコードパラメータをリアルタイムで調整する。
• 既存のクラウドストレージAPIと統合され、下位のストレージシステムに変更を加えることなく動作する外部プロキシレイヤーとして実装される。

実験結果

リサーチクエスチョン

• RQ1 変動するワークロード下で、適応的エラー制御戦略はクラウドストレージにおけるスループットと遅延のバランスを動的に最適化できるか？
• RQ2 キーバリュークラウドストレージシステムにおいて、エラー制御を用いた場合のスループットと遅延の最適なトレードオフは何か？
• RQ3 実世界のトレースにおいて、チャンクサイズと冗長度レベルの動的調整は、固定値戦略やヒューリスティック的適応戦略と比較してどのように異なるか？
• RQ4 バックログベースのフィードバックメカニズムは、近似的に最適なパフォーマンスを達成するためのコードパラメータ適応を効果的に導けるか？
• RQ5 動的ジョブサイズと冗長度の調整が、システム容量と遅延変動性に与える影響は何か？

主な発見

• TOFECは、すべてのワークロードにおいて遅延とスループットの性能下限エナベロープを達成し、容量領域の各点で最良の静的戦略と同等の性能を発揮する。
• 軽負荷時、TOFECは遅延最適化静的戦略よりも平均遅延を2.5倍低減する。
• 重負荷時、TOFECはスループット最適化静的戦略よりも3倍以上のリクエスト処理能力を維持し、高いシステム容量を実現する。
• TOFECの適応は滑らかで集中的である。各ワークロードレベルで80％以上のリクエストが、2つの隣接するk値のみを用いて処理され、安定したQoSを保証する。
• 一方、グリーディーヒューリスティックはk=1とk=6を不安定に頻繁に切り替え、遅延の標準偏差が2〜3倍高くなる。
• TOFECはワークロード変化に素早く適応し、到着レートが変化した場合でも数秒以内に最適なコードパラメータに収束する。静的戦略とは異なり、大きなバックログが蓄積されない。