[论文解读] Explicit constructions of MSR codes for clustered distributed storage: The rack-aware storage model

Zitan Chen, Alexander Barg|arXiv (Cornell University)|Jan 14, 2019

Advanced Data Storage Technologies参考文献 26被引用 7

一句话总结

本文提出了面向集群化分布式存储系统的最小存储再生（MSR）码的显式构造方法，其中节点被分组为机架，且跨机架通信被最小化。作者设计了在小有限域上的MDS阵列码，实现了最优修复带宽和访问效率，并对辅助节点的符号访问量给出了紧致的界，其构造方法逼近这些极限，从而在机架感知的存储架构中实现了高效且可扩展的数据恢复。

ABSTRACT

The paper is devoted to the problem of erasure coding in distributed storage. We consider a model of storage that assumes that nodes are organized into equally sized groups, called racks, that within each group the nodes can communicate freely without taxing the system bandwidth, and that the only information transmission that counts is the one between the racks. This assumption implies that the nodes within each of the racks can collaborate before providing information to the failed node. The main emphasis of the paper is on code construction for this storage model. We present an explicit family of MDS array codes that support recovery of a single failed node from any number of helper racks using the minimum possible amount of inter-rack communication (such codes are said to provide optimal repair). The codes are constructed over finite fields of size comparable to the code length. We also derive a bound on the number of symbols accessed at helper nodes for the purposes of repair, and construct a code family that approaches this bound, while still maintaining the optimal repair property. Finally, we present a construction of scalar Reed-Solomon codes that support optimal repair for the rack-oriented storage model.

研究动机与目标

• 为解决在具有集群化节点组织的分布式存储系统中最小化跨机架通信的挑战。
• 开发支持机架感知模型下单节点失效时最优修复的显式MDS阵列码构造方法。
• 推导并逼近修复过程中辅助节点符号访问数量的理论紧致界。
• 提出支持机架感知存储模型下最优修复的标量Reed-Solomon码构造方法。

提出的方法

• 作者提出一种机架感知的存储模型，其中节点被划分为大小相等的机架，且机架内通信为带宽免费。
• 他们构造了在大小与码长相当的有限域上的显式MDS阵列码，确保在最小跨机架带宽下实现最优修复。
• 该方法涉及设计修复矩阵以最小化从辅助节点访问的符号数量，利用子空间维数分析和组合界。
• 关键技术是通过限制由修复矩阵生成的子空间交集的维数，推导出访问符号数量的下界。
• 构造方法利用MDS码的结构和矩阵变换，确保无论选择哪个辅助机架，都能实现最优修复。
• 对于标量Reed-Solomon码，作者将该框架适配到相同机架感知约束下，实现最优修复。

实验结果

研究问题

• RQ1 在机架感知的分布式存储系统中，修复单个失效节点所需的最小跨机架通信量是多少？
• RQ2 如何构造显式的MDS阵列码，以在该模型下实现最优修复带宽？
• RQ3 修复过程中辅助节点访问符号数量的理论下界是什么？能否构造出逼近该下界的码？
• RQ4 标量Reed-Solomon码能否被调整以支持机架感知存储模型下的最优修复？
• RQ5 辅助机架选择的结构如何影响修复效率与码的设计？

主要发现

• 本文构造了一个显式的MDS阵列码族，在机架感知模型下实现了单节点失效时的最优修复带宽，使用了与码长相当的有限域。
• 推导出辅助节点访问符号数量的理论下界，并构造了一个码族，其性能逼近该下界，同时保持最优修复。
• 证明了访问符号数量的下界至少为 $ \bar{s}^{\frac{\bar{n}-1}{s}} $，其中 $ s = \bar{s}u $，且 $ \bar{s} $ 为每机架的节点数。
• 对于校验机架修复，该下界同样适用，且构造确保无论辅助机架配置如何，都能实现最优修复。
• 结果表明，最优修复不仅适用于系统节点，也适用于校验节点，通过基于矩阵的变换和子空间分析实现。
• 该框架同时支持MDS阵列码和标量Reed-Solomon码，后者被显式构造以在机架感知环境下保持最优修复。