[论文解读] Multi-Layer Transformed MDS Codes with Optimal Repair Access and Low Sub-Packetization

Hanxu Hou, Patrick P. C. Lee+1 more|arXiv (Cornell University)|Jul 21, 2019

Advanced Data Storage Technologies参考文献 32被引用 10

一句话总结

本文提出了一种多层变换MDS码，可在显著降低子分组化水平的前提下，实现对任意单个节点的最优修复访问，相较于现有构造方法大幅减少了子分组化水平。通过迭代应用一种新颖的变换技术，作者设计出的码在特定参数超过1时，其子分组化水平严格低于已知理论下限，尤其在高码率分布式存储系统中显著提升了效率。

ABSTRACT

An $(n,k)$ maximum distance separable (MDS) code has optimal repair access if the minimum number of symbols accessed from $d$ surviving nodes is achieved, where $k+1\le d\le n-1$. Existing results show that the sub-packetization $α$ of an $(n,k,d)$ high code rate (i.e., $k/n>0.5$) MDS code with optimal repair access is at least $(d-k+1)^{\lceil\frac{n}{d-k+1} ceil}$. In this paper, we propose a class of multi-layer transformed MDS codes such that the sub-packetization is $(d-k+1)^{\lceil\frac{n}{(d-k+1)η} ceil}$, where $η=\lfloor\frac{n-k-1}{d-k} floor$, and the repair access is optimal for any single node. We show that the sub-packetization of the proposed multi-layer transformed MDS codes is strictly less than the existing known lower bound when $η=\lfloor\frac{n-k-1}{d-k} floor>1$, achieving by restricting the choice of $d$ specific helper nodes in repairing a failed node. We further propose multi-layer transformed EVENODD codes that have optimal repair access for any single node and lower sub-packetization than the existing binary MDS array codes with optimal repair access for any single node. With our multi-layer transformation, we can design new MDS codes that have the properties of low computational complexity, optimal repair access for any single node, and relatively small sub-packetization, all of which are critical for maintaining the reliability of distributed storage systems.

研究动机与目标

• 为解决高码率MDS码在最优修复访问下子分组化水平过高的问题，该问题阻碍了其在分布式存储系统中的实际部署。
• 在保持任意单个节点最优修复访问的前提下，降低子分组化水平，这是最小化节点修复期间I/O操作的关键要求。
• 开发一种适用于通用MDS码和二进制MDS数组码（如EVENODD）的变换框架，以实现低子分组化水平和最优修复访问。
• 证明在特定参数条件下，所提出的码可实现低于已知理论下限的子分组化水平。
• 实现高码率MDS码在实际分布式存储系统中的可部署性，具备低计算复杂度和高效修复能力。

提出的方法

• 引入一种多层变换技术，通过在修复过程中限制帮助节点的选择，实现对$(d-k+1)\eta$个节点的最优修复访问。
• 将该变换应用$\lceil n/(\eta t) \rceil$次，以将最优修复访问扩展至全部$n$个节点，从而在整个系统中实现完全最优修复访问。
• 将子分组化水平定义为$(d-k+1)^{\lceil n / (\eta(d-k+1)) \rceil}$，其中$\eta = \lfloor (n-k-1)/(d-k) \rfloor$，该参数控制变换的深度与效率。
• 将该变换适配至二进制MDS数组码，以EVENODD码为基础，生成$\mathsf{EVENODD}_{\lceil n/(\eta t) \rceil}(n,k,\eta,t)$码，实现最优修复访问。
• 利用帮助节点选择的结构特性，在保持MDS属性和修复带宽最优性的同时，最小化I/O操作。
• 证明当$\eta > 1$时，子分组化水平严格低于已知下限$(d-k+1)^{\lceil n/(d-k+1) \rceil}$，凸显其效率提升。

实验结果

研究问题

• RQ1 能否在高码率MDS码具备最优修复访问的前提下，将子分组化水平降低至已知理论下限以下？
• RQ2 何种变换机制可实现对部分节点的最优修复访问，并可通过迭代方式覆盖所有节点？
• RQ3 参数$\eta = \lfloor (n-k-1)/(d-k) \rfloor$如何影响可实现的子分组化水平与修复效率？
• RQ4 所提出的变换能否适配至EVENODD等二进制MDS数组码，以实现更低的子分组化水平与最优修复访问？
• RQ5 在所提出的码中，子分组化水平、修复访问效率与计算复杂度之间存在何种权衡？

主要发现

• 所提出的多层变换MDS码实现了对任意单个节点的最优修复访问，其子分组化水平为$\alpha = (d-k+1)^{\lceil n / (\eta(d-k+1)) \rceil}$，其中$\eta = \lfloor (n-k-1)/(d-k) \rfloor$。
• 当$\eta > 1$时，子分组化水平严格低于已知下限$(d-k+1)^{\lceil n/(d-k+1) \rceil}$，表明在效率方面取得突破性进展。
• 对于参数$(n,k,d) = (14,10,11)$，所提码的子分组化水平为$\alpha = 8$，而现有码为$128$，实现16倍的降低。
• 对于$(80,71,72)$，所提码的子分组化水平为$\alpha = 1024$，而现有码需$2^{40} \approx 1.1 \times 10^{12}$，降低超过百亿倍。
• 所提出的$\mathsf{EVENODD}_{\lceil n/(\eta t) \rceil}$码在子分组化水平上优于先前工作中变换后的EVENODD码，后者子分组化水平为$\alpha = (d-k+1)^{\lceil n/(d-k+1) \rceil}$。
• 该方法可实现对$w$个节点的最优修复访问，其子分组化水平为$\alpha = (d-k+1)^{\lceil w / (\eta(d-k+1)) \rceil}$，当$\eta > 1$时，该值低于已知下限$\geq (d-k+1)^{\lceil w/(d-k+1) \rceil}$。