[论文解读] XORing Elephants: Novel Erasure Codes for Big Data

Maheswaran Sathiamoorthy, Megasthenis Asteris+5 more|arXiv (Cornell University)|Jan 16, 2013

Advanced Data Storage Technologies参考文献 21被引用 105

一句话总结

本文提出了一类局部可修复码（LRCs），在分布式存储中实现擦除码的最优局部性，与 Reed-Solomon 码相比，将修复时的磁盘 I/O 和网络流量减少了约 2 倍，代价是存储开销增加 14%——这是在该修复效率下信息论最优的。该方法利用广义 Reed-Solomon 校验码与隐式校验码，实现高效、局部化的修复，同时保持高容错能力。

ABSTRACT

Distributed storage systems for large clusters typically use replication to provide reliability. Recently, erasure codes have been used to reduce the large storage overhead of three-replicated systems. Reed-Solomon codes are the standard design choice and their high repair cost is often considered an unavoidable price to pay for high storage efficiency and high reliability. This paper shows how to overcome this limitation. We present a novel family of erasure codes that are efficiently repairable and offer higher reliability compared to Reed-Solomon codes. We show analytically that our codes are optimal on a recently identified tradeoff between locality and minimum distance. We implement our new codes in Hadoop HDFS and compare to a currently deployed HDFS module that uses Reed-Solomon codes. Our modified HDFS implementation shows a reduction of approximately 2x on the repair disk I/O and repair network traffic. The disadvantage of the new coding scheme is that it requires 14% more storage compared to Reed-Solomon codes, an overhead shown to be information theoretically optimal to obtain locality. Because the new codes repair failures faster, this provides higher reliability, which is orders of magnitude higher compared to replication.

研究动机与目标

• 为解决 HDFS 等大规模分布式存储系统中 Reed-Solomon 擦除码的高修复成本问题。
• 设计一种擦除码，使节点故障恢复过程中的磁盘 I/O 和网络流量最小化，同时保持高可靠性。
• 在不牺牲容错能力的前提下，实现局部性（修复单个故障块所需块数）的信息论最优。
• 实现并评估一个实际的 HDFS 模块（HDFS-Xorbas），在真实集群中用 LRC 替换 Reed-Solomon 码。
• 证明更快的修复速度可显著提高数据可用性并降低平均数据丢失时间（MTTDL）。

提出的方法

• 提出一种新型局部可修复码（LRCs）家族，其在局部性方面信息论最优，最小化修复单个故障所需块数。
• 利用广义 Reed-Solomon 码作为全局校验码，并引入“隐式校验码”以减少存储开销，同时保持修复效率。
• 采用混合编码结构，将数据分组为条带，局部校验组可仅用少量块完成修复，而全局校验码确保整体类似 MDS 的容错能力。
• 设计并实现 HDFS-Xorbas，一个生产就绪的 HDFS 模块，将 Reed-Solomon (10,4) 替换为 (10,6,5) LRC 变体，以实现直接性能对比。
• 使用马尔可夫模型评估数据可用性和 MTTDL，结果表明相比 Reed-Solomon 和 3 份复制均有显著改进。
• 在 Amazon EC2 和一个 3000 个节点的 Facebook 生产集群上进行实验评估，测量真实环境下的修复 I/O 和网络流量。

实验结果

研究问题

• RQ1 能否设计出在保持高容错能力和存储效率的同时，实现最优局部性的擦除码？
• RQ2 是否可能在不使存储开销超过实用阈值的前提下，减少分布式存储系统中的修复磁盘 I/O 和网络流量？
• RQ3 在真实 HDFS 部署中，LRC 的修复性能与 Reed-Solomon 码相比如何？
• RQ4 更快的修复对数据可用性和平均数据丢失时间（MTTDL）有何影响？
• RQ5 LRC 能否在 Hadoop HDFS 等大规模系统中以最小化对现有基础设施的修改进行实际部署？

主要发现

• 在真实部署中，基于 LRC 的 HDFS-Xorbas 模块将修复磁盘 I/O 和网络流量相比 Reed-Solomon (10,4) 码减少了约 2 倍。
• LRC 构造所需的存储量比 Reed-Solomon 码多 14%，这在实现所观察到的局部性水平下是信息论最优的。
• 在马尔可夫模型下，新码的平均数据丢失时间（MTTDL）比 Reed-Solomon (10,4) 多 2 个数量级，比 3 份复制多 5 个数量级，表明可靠性显著提升。
• 由于修复过程是局部化的，LRC 的修复速度更快，从而提升了降级读取性能和系统整体可用性。
• 所提出的码在局部性方面达到最优，与先前工作中建立的理论界限一致，且对非线性和向量线性码也证明为最优。
• 实现结果表明，通过使用广义 Reed-Solomon 校验码与隐式校验结构，可构建实用且高性能的擦除码，实现高效修复且开销极低。