[论文解读] Explicit constructions of optimal-access MDS codes with nearly optimal sub-packetization

Min Ye, Alexander Barg|arXiv (Cornell University)|May 27, 2016

Advanced Data Storage Technologies参考文献 29被引用 14

一句话总结

本论文提出了一个显式构造的最优访问MDS码，其分块粒度为 $ l = r^{\lceil n/r\rceil} $，该值仅比理论下界 $ r^{(k-1)/r} $ 大 $ r^2 $ 倍。该码实现了最优访问修复，且编码与解码复杂度较低，可在任意满足 $ |F| \geq r\lceil n/r\rceil $ 的有限域上构造，与先前构造相比显著降低了分块粒度，同时保持了最优的修复效率。

ABSTRACT

An $(n,k,l)$ MDS array code of length $n,$ dimension $k=n-r$ and sub-packetization $l$ is formed of $l imes n$ matrices over a finite field $F,$ with every column of the matrix stored on a separate node in a distributed storage system and viewed as a coordinate of the codeword. Repair of a failed node can be performed by accessing a set of $d\le n-1$ helper nodes. The code is said to have the optimal access property if the amount of data accessed at each of the helper nodes meets a lower bound on this quantity. For optimal-access MDS codes with $d=n-1,$ the sub-packetization $l$ satisfies the bound $l\ge r^{(k-1)/r}.$ In our previous work, for any $n$ and $r,$ we presented an explicit construction of optimal-access MDS codes with sub-packetization $l=r^{n-1}.$ In this paper we take up the question of reducing the sub-packetization value $l$ to make it approach the lower bound. We construct an explicit family of optimal-access codes with $l=r^{\lceil n/r ceil},$ which differs from the optimal value by at most a factor of $r^2.$ These codes can be constructed over any finite field $F$ as long as $|F|\ge r\lceil n/r ceil,$ and afford low-complexity encoding and decoding procedures. We also define a version of the repair problem that bridges the context of regenerating codes and codes with locality constraints (LRC codes), calling it group repair with optimal access. In this variation, we assume that the set of $n=sm$ nodes is partitioned into $m$ repair groups of size $s,$ and require that the amount of accessed data for repair is the smallest possible whenever the $d$ helper nodes include all the other $s-1$ nodes from the same group as the failed node. For this problem, we construct a family of codes with the group optimal access property. These codes can be constructed over any field $F$ of size $|F|\ge n,$ and also afford low-complexity encoding and decoding procedures.

研究动机与目标

• 在保持最优修复带宽和访问效率的前提下，降低最优访问MDS码的分块粒度。
• 通过引入一种新的修复模型——最优访问的组修复，弥合再生码与局部可修复码（LRCs）之间的差距。
• 构造显式码，其分块粒度接近最优 $ l = r^{\lceil n/r \rceil} $，逼近理论下界。
• 确保编码与解码过程具有低复杂度，以适配实际的分布式存储系统。
• 实现可在小有限域上构造，特别是 $ |F| \geq r\lceil n/r\rceil $，以提升可部署性。

提出的方法

• 提出一种新的修复模型——组修复与最优访问，其中节点被划分为大小为 $ s $ 的组，当同一组内所有其他节点均为帮助节点时，修复仅访问最少的数据。
• 利用有限域上的结构化线性代数设计码构造，借助范德蒙德型矩阵的性质及精心选择的生成矩阵。
• 定义修复函数 $ f_{i,j} $ 和 $ g_i $，使得每个帮助节点仅访问 $ \omega_{i,j} $ 个符号，通过满足访问数据的理论下界来确保最优访问。
• 采用分块结构码设计，其中每组 $ s $ 个节点构成一个修复组，且同一组内故障节点的修复仅使用组内其余 $ s-1 $ 个节点作为帮助节点。
• 构造码使得组修复模型下，任何故障节点的修复过程仅需下载最少数量的符号，从而在组修复模型中实现最优访问。
• 通过证明由修复过程导出的方程组具有唯一解，且该解由最小访问符号集唯一确定，从而证明码实现了最优访问特性。

实验结果

研究问题

• RQ1 能否构造出分块粒度显著接近理论下界 $ r^{(k-1)/r} $ 的最优访问MDS码，同时保持小域大小和低复杂度？
• RQ2 如何重新定义修复过程，以结合再生码与局部可修复码（LRCs）的优势，特别是在最小化数据访问方面？
• RQ3 能否在小有限域上（特别是 $ |F| \geq r\lceil n/r\rceil $）构造出显式最优访问MDS码，其分块粒度为 $ l = r^{\lceil n/r \rceil} $？
• RQ4 码矩阵的何种结构特性可确保即使在组修复模型下，修复过程中也仅访问最少数量的符号？
• RQ5 尽管分块粒度降低，该构造能否保持低编码与解码复杂度？

主要发现

• 所提出的码在分块粒度 $ l = r^{\lceil n/r \rceil} $ 下实现了最优访问修复，该值仅比理论下界 $ r^{(k-1)/r} $ 大 $ r^2 $ 倍。
• 该构造是显式的，且适用于任意满足 $ |F| \geq r\lceil n/r\rceil $ 的有限域 $ F $，支持实际部署。
• 该码支持低复杂度的编码与解码过程，适用于现实世界的分布式存储系统。
• 提出了一种新的修复模型——组修复与最优访问，其中大小为 $ s $ 的组内故障节点的修复仅使用组内其余 $ s-1 $ 个节点作为帮助节点，从而最小化数据访问。
• 证明表明，修复过程由最小访问符号集唯一确定，从而确认了访问模式的最优性。
• 该构造通过将分块粒度从 $ r^{n-1} $ 降低至 $ r^{\lceil n/r \rceil} $，推广了先前结果，显著提升了可扩展性。