[論文レビュー] The repair problem for Reed-Solomon codes: Optimal repair of single and multiple erasures, asymptotically optimal node size

Itzhak Tamo, Min Ye+1 more|arXiv (Cornell University)|May 4, 2018

Advanced Data Storage Technologies参考文献 8被引用数 8

ひとこと要約

本稿では、分散ストレージシステムにおける単一および複数のノード障害の最適修復を達成する Reed-Solomon コードの明示的構成を提示する。新規の体の塔構成と線形修復スキームを用いることで、$ l = \exp((1+o(1))n\log n) $ の部分パッケージサイズを達成し、スカラー MDS コードがカットセット境界に到達するためには、超指数的スケーリングが必要かつ十分であることを証明する。

ABSTRACT

The repair problem in distributed storage addresses recovery of the data encoded using an erasure code, for instance, a Reed-Solomon (RS) code. We consider the problem of repairing a single node or multiple nodes in RS-coded storage systems using the smallest possible amount of inter-nodal communication. According to the cut-set bound, communication cost of repairing $h\ge 1$ failed nodes for an $(n,k=n-r)$ MDS code using $d$ helper nodes is at least $dhl/(d+h-k),$ where $l$ is the size of the node. Guruswami and Wootters (2016) initiated the study of efficient repair of RS codes, showing that they can be repaired using a smaller bandwidth than under the trivial approach. At the same time, their work as well as follow-up papers stopped short of constructing RS codes (or any scalar MDS codes) that meet the cut-set bound with equality. In this paper we construct families of RS codes that achieve the cutset bound for repair of one or several nodes. In the single-node case, we present RS codes of length $n$ over the field $\mathbb{F}_{q^l},l=\exp((1+o(1))n\log n)$ that meet the cut-set bound. We also prove an almost matching lower bound on $l$, showing that super-exponential scaling is both necessary and sufficient for scalar MDS codes to achieve the cut-set bound using linear repair schemes. For the case of multiple nodes, we construct a family of RS codes that achieve the cut-set bound universally for the repair of any $h=2,3,\dots$ failed nodes from any subset of $d$ helper nodes, $k\le d\le n-h.$ For a fixed number of parities $r$ the node size of the constructed codes is close to the smallest possible node size for codes with such properties.

研究の動機と目的

• Reed-Solomon 符号を用いた分散ストレージシステムにおける理論的カットセット境界と実用的修復帯域幅のギャップを埋める。
• 単一または複数の障害ノードを修復するための、明示的なスカラー MDS コードを構築し、カットセット境界に到達する。
• 線形修復スキーム下で最適修復を達成するためのスカラー MDS コードに必要な最小の部分パッケージ化レベル $ l $ を特定する。
• 任意の数の障害ノード $ h \geq 2 $、任意のヘルパー集合サイズ $ d \in [k, n-h] $、およびすべての許容可能なパrameter に対して動作する普遍的な最適修復スキームを提供する。
• ノードサイズ $ l $ に対するタイトな下界と上界を確立し、スカラー MDS コードが最適修復を達成するためには、超指数的スケーリングが必要かつ十分であることを示す。

提案手法

• 長さ $ n $ の Reed-Solomon コードを $ \mathbb{F}_{q^l} $ 上に構築し、$ l = \exp((1+o(1))n\log n) $ として、単一ノード修復におけるカットセット境界を達成する。
• 代数的関数体に基づく階層的体の塔構成を用い、最小帯域幅の線形修復を可能にする。
• 各ヘルパー ノードが、中間体上の部分空間の基底から導かれた注意深く選ばれた符号の線形結合を送信する線形修復スキームを採用する。
• 障害ノード数に関する帰納法を用いて最適性を証明し、修復部分空間の次元がカットセット境界と一致することを示す。
• $ i $ 個の障害ノードからの符号に由来する部分空間を生成する基底 $ B_i $ を導入し、通信量を最小限に抑える。
• 体拡大と乗法的生成元を用い、異なるヘルパー ノード間での送信符号の線形独立性と最小限の重複を保証する。

実験結果

リサーチクエスチョン

• RQ1 スカラー Reed-Solomon コードは、最小の部分パッケージ化でカットセット境界に到達するように構築可能か？
• RQ2 線形修復スキームを用いた場合、スカラー MDS コードが最適修復帯域幅を達成するための最小ノードサイズ $ l $ は何か？
• RQ3 任意の数 $ h \geq 2 $ の障害ノードと、任意の $ d \geq k $ のヘルパー ノードから修復するための、1つのコードを設計可能か？
• RQ4 複数の障害に対して、冗長性や非効率性を損なわず、理論的下限に達する帯域幅を最小化できるか？
• RQ5 最適修復を達成するための、コード長 $ n $ とパリティ数 $ r $ に応じた必要となる体のサイズのスケーリングはどのようになるか？

主な発見

• 本稿では、$ \mathbb{F}_{q^l} $ 上に長さ $ n $ の明示的 Reed-Solomon コードを構築し、$ l = \exp((1+o(1))n\log n) $ として、単一ノード修復におけるカットセット境界に到達する。
• $ l $ に対するほぼ一致する下界を証明し、スカラー MDS コードが線形修復スキームを用いてカットセット境界に到達するためには、超指数的スケーリングが必要かつ十分であることを示す。
• 複数障害の場合、任意の $ h \geq 2 $ 個の障害ノードと任意の $ d \in [k, n-h] $ 個のヘルパー ノードに対して、カットセット境界を普遍的に達成する RS コードの族を構築する。
• 複数障害のための構築済みコードのノードサイズは、このようなコードの最小サイズに漸近的に近づき、最適である。
• 修復帯域幅は $ \frac{dhl}{d+h-k} $ に最小化され、理論的カットセット境界と一致し、余剰性や非効率性による損失はない。
• 最小通信量と修復部分空間内での最大線形独立性を保証する、新規の体の塔と基底選択戦略に依存している。