[论文解读] Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems

Kenneth W. Shum, Yuchong Hu|arXiv (Cornell University)|Feb 8, 2011

Advanced Data Storage Technologies参考文献 11被引用 12

一句话总结

本文提出了一类用于分布式存储系统的精确最小修复带宽协作再生（MBCR）码，实现了对多个同时失效节点的最优修复带宽。通过系统编码和有限域上的结构化矩阵构造，该码匹配了推导出的修复带宽理论下限，实现了多个失效节点的高效联合修复，同时最大限度减少网络流量。

ABSTRACT

In order to provide high data reliability, distributed storage systems disperse data with redundancy to multiple storage nodes. Regenerating codes is a new class of erasure codes to introduce redundancy for the purpose of improving the data repair performance in distributed storage. Most of the studies on regenerating codes focus on the single-failure recovery, but it is not uncommon to see two or more node failures at the same time in large storage networks. To exploit the opportunity of repairing multiple failed nodes simultaneously, a cooperative repair mechanism, in the sense that the nodes to be repaired can exchange data among themselves, is investigated. A lower bound on the repair-bandwidth for cooperative repair is derived and a construction of a family of exact cooperative regenerating codes matching this lower bound is presented.

研究动机与目标

• 解决大规模分布式存储系统中因多个节点失效常见而导致的单失效修复效率低下的问题。
• 克服逐个修复的局限性，实现多个失效节点的同时协作修复。
• 推导分布式存储系统中协作修复的修复带宽理论下限。
• 构造显式精确MBCR码，使其达到该下限，确保最优修复性能。
• 确保码为系统码，允许直接访问数据包而无需完整重构。

提出的方法

• 推导r个失效节点协作修复的修复带宽理论下限，证明其至少为每个失效节点(2d + r - 1)个分组。
• 基于扩展Reed-Solomon码的生成矩阵，采用系统编码方案构造一类精确MBCR码。
• 设计三阶段修复过程：(1) 新节点分别从d个存活节点下载k个分组，(2) 新节点交换中间计算结果，(3) 新节点重构丢失数据并交换校验信息。
• 在编码中使用循环移位模式，将系统码和校验码分发至各节点，确保k个节点可恢复。
• 确保有限域大小随n线性增长，使构造适用于大规模系统。
• 通过证明总修复带宽匹配推导出的下限r(2d + r - 1)（对应r次失效），验证其最优性。

实验结果

研究问题

• RQ1 在分布式存储系统中，协作修复r个失效节点所需的理论最小修复带宽是多少？
• RQ2 能否构造出精确协作再生码，实现该最小修复带宽，同时保持系统级特性（如系统编码）？
• RQ3 如何设计修复过程，以最小化多个失效节点联合修复期间的总网络流量？
• RQ4 在协作修复中，存活节点数d、失效数r与修复带宽之间的关系是什么？
• RQ5 能否通过控制有限域大小随节点数增加而增长的方式，使构造具有实用性？

主要发现

• 推导出r个失效节点协作修复的修复带宽理论下限为每个失效节点(2d + r - 1)个分组。
• 所提出的构造达到了该下限，证明了该码在修复带宽方面是最优的。
• 以n=5, d=k=3, r=2为例，总修复带宽为14个分组，即每个失效节点7个分组，与理论下限完全匹配。
• 该码为系统码，通过仅联系存储该数据包的节点，可直接访问任意数据包。
• 所需有限域大小随节点数n线性增长，使构造具有可扩展性和实用性。
• 修复过程为完全精确，即新节点中再生的数据与失效节点中原始数据逐比特完全相同。