[论文解读] Explicit constructions of high-rate MDS array codes with optimal repair bandwidth

Min Ye, Alexander Barg|arXiv (Cornell University)|Apr 2, 2016

Advanced Data Storage Technologies被引用 15

一句话总结

本文提出了两种显式构造的高码率MDS数组码，支持任意数量校验节点的最优修复带宽，对所有 $h \leq r$ 和 $k \leq d \leq n-h$ 同时实现 $(h,d)$-最优修复。第一类码在大小至少为 $\text{lcm}(1,2,\dots,r) \cdot n$ 的域上构造，第二类码在大小至少为 $n+1$ 的域上实现最优访问，两者均支持低复杂度的编码、解码、修复和更新。

ABSTRACT

Maximum distance separable (MDS) codes are optimal error-correcting codes in the sense that they provide the maximum failure-tolerance for a given number of parity nodes. Suppose that an MDS code with $k$ information nodes and $r=n-k$ parity nodes is used to encode data in a distributed storage system. It is known that if $h$ out of the $n$ nodes are inaccessible and $d$ surviving (helper) nodes are used to recover the lost data, then we need to download at least $h/(d+h-k)$ fraction of the data stored in each of the helper nodes (Dimakis et. al., 2010 and Cadambe et al., 2013). If this lower bound is achieved for the repair of any $h$ erased nodes from any $d$ helper nodes, we say that the MDS code has the $(h,d)$-optimal repair property. We study high-rate MDS array codes with the optimal repair property. Explicit constructions of such codes in the literature are only available for the cases where there are at most 3 parity nodes, and these existing constructions can only optimally repair a single node failure by accessing all the surviving nodes. In this paper, given any $r$ and $n$, we present two explicit constructions of MDS array codes with the $(h,d)$-optimal repair property for all $h\le r$ and $k\le d\le n-h$ simultaneously. Codes in the first family can be constructed over any base field $F$ as long as $|F|\ge sn,$ where $s= ext{lcm}(1,2,\dots,r).$ The encoding, decoding, repair of failed nodes, and update procedures of these codes all have low complexity. Codes in the second family have the optimal access property and can be constructed over any base field $F$ as long as $|F|\ge n+1.$ Moreover, both code families have the optimal error resilience capability when repairing failed nodes. We also construct several other related families of MDS codes with the optimal repair property.

研究动机与目标

• 构造显式、高码率的MDS数组码，实现多节点故障的最优修复带宽。
• 将现有构造从单节点修复扩展至支持最多 $r$ 个故障节点的并行修复，使用任意 $d$ 个辅助节点。
• 在保持编码、解码、修复和更新操作低复杂度的同时，最小化域大小和子分块大小。
• 在多节点故障修复过程中维持最优错误恢复能力。
• 推广先前仅限于最多三个校验节点和单节点修复的构造。

提出的方法

• 利用广义Reed-Solomon数组码，通过精心选择的求值点和可逆矩阵构造MDS数组码。
• 利用涉及Vandermonde型矩阵的校验方程，实现仅通过每个辅助节点下载 $l/s_i$ 个符号即可恢复故障节点，其中 $s_i = d_i + 1 - k$。
• 使用子分块大小 $l = s^{n-1}$，其中 $s = \text{lcm}(d_1+1-k, \dots, d_m+1-k)$，以同时支持多个 $d$-最优修复配置。
• 应用可逆变换矩阵 $W_i$，实现通过部分下载辅助节点数据恢复单个节点数据。
• 通过 $|F| \geq \text{lcm}(1,2,\dots,r) \cdot n$ 确保第一类码的域大小约束，第二类码通过 $|F| \geq n+1$ 实现，支持实际部署。
• 通过将 $t$-错误纠正修复的概念推广至多擦除情况，实现多节点故障的错误恢复能力。

实验结果

研究问题

• RQ1 能否构造出显式MDS数组码，使得对所有 $h \leq r$ 和 $k \leq d \leq n-h$ 同时实现 $(h,d)$-最优修复，超越已知的最多三个校验节点的情况？
• RQ2 在保持低复杂度操作的前提下，构造此类码所需的域大小是多少？
• RQ3 修复过程能否不仅在带宽上最优，也在访问模式上最优（即实现最优访问特性）？
• RQ4 在多节点故障修复过程中，如何维持并推广错误恢复能力？
• RQ5 是否可能在单一码族中支持多个不同的 $d$-最优修复配置？

主要发现

• 第一类码在任意满足 $|F| \geq \text{lcm}(1,2,\dots,r) \cdot n$ 的有限域 $F$ 上，对所有 $h \leq r$ 和 $k \leq d \leq n-h$ 实现 $(h,d)$-最优修复。
• 第二类码实现最优访问特性，并在任意满足 $|F| \geq n+1$ 的域上支持相同的修复最优性，从而在修复过程中实现高效的数据检索。
• 两类码均支持低复杂度的编码、解码、修复和更新操作，适用于现实世界中的分布式存储系统。
• 通过设定 $s = \text{lcm}(d_1+1-k, \dots, d_m+1-k)$，构造将 $d$-最优修复特性推广至多个 $d$ 值的并行实现。
• 码在修复过程中保持最优错误恢复能力，将先前关于单节点修复的结果推广至多故障情况。
• 构造4中的 $(n,k,(n-k)^{n-1})$ 码在 $(d+1-k)$ 整除 $(n-k)$ 时实现 $d$-最优修复，提供性能可预测的具体实例。