[論文レビュー] Rack-Aware Regenerating Codes for Data Centers

Hanxu Hou, Patrick P. C. Lee+2 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Data Storage Technologies参考文献 42被引用数 4

ひとこと要約

本稿では、データセンター向けに、最小限のクロスレッグ修復帯域幅を実現しながら、ストレージの冗長性と修復効率の最適なトレードオフを達成する、新たなエラー訂正符号の族であるRack-Aware Regenerating Codes (RRC) を提案する。レッグにデータを構造化し、階層的な修復モデルを活用することで、古典的な再生符号よりも厳密に低いクロスレッグ帯域幅を達成し、最小ストレージおよび最小帯域幅の両レジームにおいて最適な正確修復構成を実現する。

ABSTRACT

Erasure coding is widely used for massive storage in data centers to achieve high fault tolerance and low storage redundancy. Since the cross-rack communication cost is often high, it is critical to design erasure codes that minimize the cross-rack repair bandwidth during failure repair. In this paper, we analyze the optimal trade-off between storage redundancy and cross-rack repair bandwidth specifically for data centers, subject to the condition that the original data can be reconstructed from a sufficient number of any non-failed nodes. We characterize the optimal trade-off curve under functional repair, and propose a general family of erasure codes called rack-aware regenerating codes (RRC), which achieve the optimal trade-off. We further propose exact repair constructions of RRC that have minimum storage redundancy and minimum cross-rack repair bandwidth, respectively. We show that (i) the minimum storage redundancy constructions support a wide range of parameters and have cross-rack repair bandwidth that is strictly less than that of the classical minimum storage regenerating codes in most cases, and (ii) the minimum cross-rack repair bandwidth constructions support all the parameters and have less cross-rack repair bandwidth than that of the minimum bandwidth regenerating codes for almost all of the parameters.

研究の動機と目的

• データセンターのストレージシステムにおけるクロスレッグ通信コストの高さに対処するため、クロスレッグ修復帯域幅を最小限に抑えるエラー訂正符号を設計すること。
• レッグ構成されたデータセンターにおける関数的修復の下で、ストレージの冗長性とクロスレッグ修復帯域幅の最適なトレードオフを特定すること。
• この最適なトレードオフを達成する一般化された符号族—Rack-Aware Regenerating Codes (RRC)—を構築すること。
• 最小ストレージおよび最小帯域幅の両構成において最適な正確修復バージョンのRRCを構築すること。
• 幅広い符号パラメータをサポートし、最小限のレッグ間トラフィックで効率的な修復を可能にするという点で、実用的応用を確保すること。

提案手法

• ノードをレッグにグループ化するレッグに依存する符号モデルを提案し、レッグ間データ転送を制御することで、修復トラフィックを最小限に抑える。
• 情報フロー図における理論的最小カットバウンドを導出することで、ストレージとクロスレッグ修復帯域幅の最適なトレードオフを捉える。
• 非故障ノード数と修復次数に基づく区分的線形関数を用いて、最適なストレージ-修復帯域幅トレードオフを定式化する。
• 有限体上での多項式方程式系の解法により正確修復構成を設計し、MDS性と修復可能性を保証する。
• シュワーツ＝ジッペルの補題を適用して、正しい修復と再構成を高確率で達成するための必要な有限体サイズを上限付ける。
• 階層的修復戦略を適用する：まずレッグ内での部分的修復を行い、その後にレッグ間での組み合わせを実行することで、全体のクロスレッグトラフィックを削減する。

実験結果

リサーチクエスチョン

• RQ1 レッグ構成されたデータセンターにおける、ストレージの冗長性とクロスレッグ修復帯域幅の根本的トレードオフは何か？
• RQ2 任意の符号パラメータをサポートできる一般化されたエラー訂正符号族を設計できるか？ そのような符号族が最適なトレードオフを達成できるか？
• RQ3 MDS性を維持したまま、最小限のクロスレッグ帯域幅で正確修復を達成するにはどうすればよいか？
• RQ4 提案されたRRC構成で正しい修復と再構成を保証するために必要な最小の体サイズは何か？
• RQ5 クロスレッグ帯域幅の観点から、RRCの性能は古典的な再生符号や二重再生符号と比べてどう異なるか？

主な発見

• ストレージの冗長性とクロスレッグ修復帯域幅の最適なトレードオフは、非故障ノード数と修復次数に依存する区分的線形関数で特徴づけられる。
• 最小ストレージ冗長性のRRC構成は、最小ストレージ再生（MSR）符号と同等のストレージ効率を達成するが、ほとんどのパrameterレジームにおいて、より低いクロスレッグ修復帯域幅を実現する。
• 最小クロスレッグ修復帯域幅のRRC構成は、ほぼすべてのパrameterの組み合わせにおいて、最小帯域幅再生（MBR）符号よりも帯域幅の節約を達成する。
• すべての有効な符号パラメータに対して正確修復RRC構成が可能であり、シュワーツ＝ジッペルの補題を介して導出された多項式式で表される有限体サイズの上限に従う。
• 体サイズが修復方程式と変数の数から導かれる閾値を超える場合、修復プロセスは高い確率で成功することが保証される。
• 提案されたRRCモデルは、柔軟なストレージサイズと修復度をサポートしており、多様なワークロードを持つ実世界のデータセンターの展開に適している。