[論文レビュー] Explicit constructions of high-rate MDS array codes with optimal repair bandwidth

Min Ye, Alexander Barg|arXiv (Cornell University)|Apr 2, 2016

Advanced Data Storage Technologies被引用数 15

ひとこと要約

本稿では、任意のパリティノード数に対して最適な修復帯域幅を達成する高レートMDSアレイ符号の明示的構成を2つ提示する。これらは同時にすべての $h \leq r$ および $k \leq d \leq n-h$ に対して $(h,d)$-最適修復を達成する。最初の族は、$\text{lcm}(1,2,\dots,r) \cdot n$ 以上の体サイズを必要とするが、2番目の族は $n+1$ 以上の体サイズで最適アクセスを達成する。両者とも、符号化、復号、修復、更新において低複雑性を実現する。

ABSTRACT

Maximum distance separable (MDS) codes are optimal error-correcting codes in the sense that they provide the maximum failure-tolerance for a given number of parity nodes. Suppose that an MDS code with $k$ information nodes and $r=n-k$ parity nodes is used to encode data in a distributed storage system. It is known that if $h$ out of the $n$ nodes are inaccessible and $d$ surviving (helper) nodes are used to recover the lost data, then we need to download at least $h/(d+h-k)$ fraction of the data stored in each of the helper nodes (Dimakis et. al., 2010 and Cadambe et al., 2013). If this lower bound is achieved for the repair of any $h$ erased nodes from any $d$ helper nodes, we say that the MDS code has the $(h,d)$-optimal repair property. We study high-rate MDS array codes with the optimal repair property. Explicit constructions of such codes in the literature are only available for the cases where there are at most 3 parity nodes, and these existing constructions can only optimally repair a single node failure by accessing all the surviving nodes. In this paper, given any $r$ and $n$, we present two explicit constructions of MDS array codes with the $(h,d)$-optimal repair property for all $h\le r$ and $k\le d\le n-h$ simultaneously. Codes in the first family can be constructed over any base field $F$ as long as $|F|\ge sn,$ where $s= ext{lcm}(1,2,\dots,r).$ The encoding, decoding, repair of failed nodes, and update procedures of these codes all have low complexity. Codes in the second family have the optimal access property and can be constructed over any base field $F$ as long as $|F|\ge n+1.$ Moreover, both code families have the optimal error resilience capability when repairing failed nodes. We also construct several other related families of MDS codes with the optimal repair property.

研究の動機と目的

• 複数ノード障害を想定した、明示的かつ高レートのMDSアレイ符号を構築し、最適な修復帯域幅を達成すること。
• 従来の単一ノード修復にとどまらず、任意の $d$ 個のヘルパーを用いて最大 $r$ 個の障害ノードを同時に修復できるように拡張すること。
• 体サイズとサブパッケタイゼーションを最小限に抑えつつ、符号化、復号、修復、更新の各処理を低複雑性に保つこと。
• 複数ノード障害時の修復において最適な誤り耐性を維持すること。
• これまでの構成が最大3パリティノードまでかつ単一ノード修復に限られていたのを一般化すること。

提案手法

• 評価点と可逆行列を適切に選んだ一般化されたリード・ソロモンアレイ符号を用いてMDSアレイ符号を構築する。
• ヴァンデルモンドに類似した行列を含むパリティチェック方程式を活用し、各ヘルパーから $l/s_i$ 個のシンボルのみをダウンロードすることで障害ノードを復元可能にする。ここで $s_i = d_i + 1 - k$ である。
• サブパッケタイゼーション $l = s^{n-1}$ を用い、$s = \text{lcm}(d_1+1-k, \dots, d_m+1-k)$ とすることで、複数の $d$-最適修復構成を同時にサポートする。
• 可逆変換行列 $W_i$ を適用することで、ヘルパーの部分的ダウンロードから個々のノードデータを復元可能にする。
• 最初の族では $|F| \geq \text{lcm}(1,2,\dots,r) \cdot n$、2番目の族では $|F| \geq n+1$ とすることで体サイズ制約を満たし、実装可能性を確保する。
• $t$-誤り訂正修復の概念を複数ノード障害に拡張することで、誤り耐性の一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 最大3パリティノードまでに限られていた既知の事例を超えて、任意の数のパリティノードに対して、すべての $h \leq r$ および $k \leq d \leq n-h$ に対して $(h,d)$-最適修復を達成する明示的MDSアレイ符号を構築可能か？
• RQ2 このような符号を明示的に構築するにあたり、低複雑性の処理を維持するための体サイズはどの程度必要か？
• RQ3 修復プロセスを帯域幅だけでなくアクセスパターンにおいても最適化（すなわち最適アクセス特性）にできるか？
• RQ4 複数ノード障害時の修復において、誤り耐性を維持・一般化できるか？
• RQ5 1つの符号族内で、複数の異なる $d$-最適修復構成を同時にサポートできるか？

主な発見

• 最初の符号族は、$|F| \geq \text{lcm}(1,2,\dots,r) \cdot n$ を満たす任意の有限体 $F$ において、すべての $h \leq r$ および $k \leq d \leq n-h$ に対して $(h,d)$-最適修復を達成する。
• 2番目の符号族は最適アクセス特性を達成し、$|F| \geq n+1$ の任意の体において同じ修復最適性を実現する。これにより、修復中の効率的なデータ取得が可能になる。
• 両符号族とも、符号化、復号、修復、更新の各プロセスを低複雑性で実行可能であり、実世界の分散ストレージシステムへの実用的応用が可能である。
• サブパッケタイゼーションを $s = \text{lcm}(d_1+1-k, \dots, d_m+1-k)$ とすることで、$d$-最適修復特性を複数の $d$ 値に対して同時に一般化している。
• 符号は修復中に最適な誤り耐性を維持しており、従来の単一ノード修復に関する結果を複数障害にまで拡張している。
• 構成4の $(n,k,(n-k)^{n-1})$ 符号は、$(d+1-k)$ が $(n-k)$ を割り切る場合に $d$-最適修復を達成し、性能が予測可能な具体的なインスタンスを提供する。