[论文解读] A New Piggybacking Design for Systematic MDS Storage Codes

Chong Shangguan, Gennian Ge|arXiv (Cornell University)|Oct 26, 2016

Advanced Data Storage Technologies参考文献 12被引用 4

一句话总结

本文提出了一种用于系统性MDS码的新型打孔框架，实现了平均修复带宽率为约$rac{ extstyleackslash sqrt extbraceleft 2r-1 extbraceright extbackslash }{r}$，显著优于先前的工作。通过精心设计校验函数并利用多个码实例，该方法仅使用域加法即可实现快速修复，达到MDS效率，同时与传统MDS码相比，大幅降低了修复带宽。

ABSTRACT

Distributed storage codes have important applications in the design of modern storage systems. In a distributed storage system, every storage node has a probability to fail and once an individual storage node fails, it must be reconstructed using data stored in the surviving nodes. Computation load and network bandwidth are two important issues we need to concern when repairing a failed node. The traditional maximal distance separable (MDS) storage codes have low repair complexity but high repair bandwidth. On the contrary, minimal storage regenerating (MSR) codes have low repair bandwidth but high repair complexity. Fortunately, the newly introduced piggyback codes combine the advantages of both ones. In this paper, by introducing a novel piggybacking design framework for systematic MDS codes, we construct a storage code whose average repair bandwidth rate, i.e., the ratio of average repair bandwidth and the amount of the original data, can be as low as $\frac{\sqrt{2r-1}}{r}$, which significantly improves the ratio $\frac{r-1}{2r-1}$ of the previous result. In the meanwhile, every failed systematic node of the new code can be reconstructed quickly using the decoding algorithm of an MDS code, only with some additional additions over the underlying finite field. This is very fast compared with the complex matrix multiplications needed in the repair of a failed node of an MSR code.

研究动机与目标

• 解决分布式存储系统中低修复带宽与低修复复杂度之间的权衡问题。
• 设计一种系统性MDS码，在节点修复期间保持接近MDS码的低计算成本，同时显著降低修复带宽。
• 通过最小化实现低修复带宽所需的码实例数量，改进现有打孔码。
• 构建一种在大规模存储系统中平衡容错能力、修复效率与实际部署约束的码。

提出的方法

• 提出一种新型打孔框架，将底层MDS码的多个实例与精心设计的校验函数相结合。
• 在有限域$ackslash mathbb extbackslash F_q$上使用校验函数$f_i(a) = \langle p_i, a \rangle$，在码实例之间嵌入额外数据。
• 采用结构化设计，使得每个系统性节点仅通过域加法即可修复，避免了昂贵的矩阵乘法。
• 将码实例数量优化为$r$，相比RSR和KAAB等先前构造，显著降低了开销。
• 通过修复过程中数据访问模式的分析建模，推导出修复带宽率为$ackslash gamma = \frac{ extstyleackslash sqrt extbraceleft 2r-1 extbraceright extbackslash }{r}$。
• 通过确保修复复杂度与编码成本与$r$个实例的MDS码保持接近，平衡了修复复杂度与编码成本。

实验结果

研究问题

• RQ1 能否设计一种系统性MDS码，在保持MDS级别修复复杂度的同时，实现接近MSR码的修复带宽？
• RQ2 在打孔MDS码中，实现次线性修复带宽扩展所需的最少码实例数量是多少？
• RQ3 如何结构化打孔设计，以最小化分布式存储系统中的修复带宽与计算开销？
• RQ4 是否可能在不牺牲容错能力或增加修复复杂度的前提下，实现$\Theta(1/\sqrt{r})$的修复带宽率？

主要发现

• 所提码的平均修复带宽率为$\frac{ extstyleackslash sqrt extbraceleft 2r-1 extbraceright extbackslash }{r}$，显著低于先前RSR构造的$\frac{r-1}{2r-3}$。
• 每个系统性节点的修复复杂度受$rx + \sqrt{r}x$限制，几乎与标准MDS码同样高效。
• 码实例数量减少至$r$，远小于RSR码的$2r-3$个实例和KAAB码的$k$个实例。
• 编码复杂度受$r^2x + kre$限制，与$r$个实例的MDS码保持接近。
• 修复过程仅需域加法，避免了MSR码中使用的昂贵矩阵乘法，从而实现了快速重构。
• 该码保持了MDS属性和$r$个节点故障的容错能力，确保了数据可靠性。