[论文解读] Rack-Aware Regenerating Codes for Data Centers

Hanxu Hou, Patrick P. C. Lee+2 more|arXiv (Cornell University)|Feb 12, 2018

Advanced Data Storage Technologies参考文献 42被引用 4

一句话总结

本文提出了一种新型纠删码家族——机架感知再生码（Rack-Aware Regenerating Codes, RRC），用于数据中心，可在实现存储冗余与修复效率最优权衡的同时，最小化跨机架修复带宽。通过在机架间结构化数据并利用分层修复模型，RRC 实现的跨机架带宽严格低于经典再生码，在最小存储和最小带宽两种配置下均实现了最优的精确修复构造。

ABSTRACT

Erasure coding is widely used for massive storage in data centers to achieve high fault tolerance and low storage redundancy. Since the cross-rack communication cost is often high, it is critical to design erasure codes that minimize the cross-rack repair bandwidth during failure repair. In this paper, we analyze the optimal trade-off between storage redundancy and cross-rack repair bandwidth specifically for data centers, subject to the condition that the original data can be reconstructed from a sufficient number of any non-failed nodes. We characterize the optimal trade-off curve under functional repair, and propose a general family of erasure codes called rack-aware regenerating codes (RRC), which achieve the optimal trade-off. We further propose exact repair constructions of RRC that have minimum storage redundancy and minimum cross-rack repair bandwidth, respectively. We show that (i) the minimum storage redundancy constructions support a wide range of parameters and have cross-rack repair bandwidth that is strictly less than that of the classical minimum storage regenerating codes in most cases, and (ii) the minimum cross-rack repair bandwidth constructions support all the parameters and have less cross-rack repair bandwidth than that of the minimum bandwidth regenerating codes for almost all of the parameters.

研究动机与目标

• 通过设计最小化跨机架修复带宽的纠删码，解决数据中心存储系统中跨机架通信成本过高的问题。
• 刻画在功能修复模式下，面向机架组织的数据中心中存储冗余与跨机架修复带宽之间的最优权衡。
• 设计一个通用的码族——机架感知再生码（RRC），以实现该最优权衡。
• 构建在最小存储和最小带宽配置下均最优的 RRC 精确修复版本。
• 通过支持广泛的码参数并实现最小化跨机架流量的高效修复，确保实际可应用性。

提出的方法

• 提出一种机架感知编码模型，其中节点被分组到机架中，并通过控制跨机架数据传输来最小化修复流量。
• 推导信息流图的理论最小割界，以捕捉存储与跨机架修复带宽之间的最优权衡。
• 基于非故障节点数量和修复度，使用分段线性函数形式化最优存储-修复带宽权衡。
• 通过在有限域上求解多项式方程组，设计精确修复构造，确保 MDS 性质和修复可行性。
• 应用 Schwartz-Zippel 引理，界定为实现高概率正确修复与重构所需的有限域大小。
• 采用分层修复策略：先在机架内进行部分修复，再进行跨机架组合，从而降低整体跨机架流量。

实验结果

研究问题

• RQ1 在机架组织的数据中心中，存储冗余与跨机架修复带宽之间的基本权衡是什么？
• RQ2 能否设计出一个通用的纠删码族，以实现该最优权衡并支持任意码参数？
• RQ3 如何在保持 MDS 性质的同时，以最小的跨机架带宽实现精确修复？
• RQ4 为确保所提出的 RRC 构造中正确修复与重构，所需的最小域大小是多少？
• RQ5 在跨机架带宽方面，RRC 的性能与经典再生码及双再生码相比如何？

主要发现

• 存储冗余与跨机架修复带宽之间的最优权衡由一个分段线性函数表征，其依赖于非故障节点数量和修复度。
• 最小存储冗余 RRC 构造在大多数参数配置下，其存储效率与最小存储再生（MSR）码相当，但跨机架修复带宽严格更低。
• 最小跨机架修复带宽 RRC 构造在几乎所有参数组合下，相对于最小带宽再生（MBR）码均实现了带宽节省。
• 所有有效码参数下，精确修复 RRC 构造均可行，且所需有限域大小由 Schwartz-Zippel 引理推导出的多项式表达式有界。
• 当域大小超过由修复方程和变量数量导出的阈值时，修复过程可保证以高概率成功。
• 所提出的 RRC 模型支持灵活的存储大小和修复度，适用于具有多样化工作负载的实际数据中心部署。