[论文解读] Erasure Coding for Distributed Storage: An Overview

S. B. Balaji, M. Nikhil Krishnan+4 more|arXiv (Cornell University)|Jun 12, 2018

Advanced Data Storage Technologies参考文献 151被引用 5

一句话总结

本综述全面概述了用于分布式存储的擦除码技术，重点介绍再生码（RG）、本地可恢复（LR）码以及里德-所罗门码的先进修复方法。文章突出展示了关键进展，如最小带宽再生（MBR）码和最小存储再生（MSR）码，并展示了在 Windows Azure 和 Ceph 等系统中的实际部署，显著降低了修复带宽和存储开销。

ABSTRACT

In a distributed storage system, code symbols are dispersed across space in nodes or storage units as opposed to time. In settings such as that of a large data center, an important consideration is the efficient repair of a failed node. Efficient repair calls for erasure codes that in the face of node failure, are efficient in terms of minimizing the amount of repair data transferred over the network, the amount of data accessed at a helper node as well as the number of helper nodes contacted. Coding theory has evolved to handle these challenges by introducing two new classes of erasure codes, namely regenerating codes and locally recoverable codes as well as by coming up with novel ways to repair the ubiquitous Reed-Solomon code. This survey provides an overview of the efforts in this direction that have taken place over the past decade.

研究动机与目标

• 为解决传统里德-所罗门码在大规模分布式存储系统中修复故障节点时的低效问题。
• 分析现代擦除码方案中存储开销、修复带宽与修复度之间的权衡。
• 评估先进擦除码（如 LR、RG 和 LRG 码）在实际系统（如 Windows Azure 和 HDFS）中的实际性能与部署效果。
• 总结再生码领域的理论进展，包括 MSR 和 MBR 码，及其在低子分组化与最优访问方面的优化。
• 展示生产环境中码实现的实证评估，证明其在成本与性能方面优于复制和传统擦除码。

提出的方法

• 本文综述了从传统里德-所罗门码到再生码（RG）的演进，后者通过 (n,k,d,α,β,B) 参数化实现最小化修复带宽。
• 引入最小带宽再生（MBR）码与最小存储再生（MSR）码，作为存储-修复带宽（S-RB）权衡关系的极值点。
• 采用“搭便车”（piggybacking）框架构建修复带宽更低的 MDS 数组码，典型案例如 Hitchhiker 系统与 HashTag 码。
• 引入本地可恢复（LR）码以最小化修复过程中的辅助节点数量，修复度 r 为关键参数。
• 提出本地再生（LRG）码，以同时优化修复带宽与修复度。
• 通过 Hadoop、Ceph 和 Windows Azure 的真实部署进行实际评估，并与复制和传统 RS 码进行性能对比。

实验结果

研究问题

• RQ1 如何设计擦除码，以在保持高存储效率的同时最小化分布式存储系统中的修复带宽？
• RQ2 再生码中存储开销、修复带宽与修复度之间的基本权衡关系是什么？
• RQ3 与传统里德-所罗门码相比，本地可恢复（LR）码在节点修复过程中能将接触的节点数量减少多少？
• RQ4 基于搭便车技术的里德-所罗门码先进修复技术在多大程度上提升了修复效率？
• RQ5 在生产存储系统中部署现代擦除码（如 Clay、PM-RBT 和 LRG 码）的实际性能与成本影响如何？

主要发现

• Windows Azure 中采用本地可恢复（LR）码后，存储开销从 [16,12] RS 码的 1.5 降低至 (n=18,k=14,r=7) 码的 1.29，节省了数百万美元的运营成本。
• Azure 中的 (n=16,k=12,r=6) LR 码实现了与 [9,6] RS 码相当的修复度，显著提升了修复效率。
• 基于搭便车技术的 Hitchhiker 系统成功部署于 HDFS，并集成至 Apache Hadoop，显著改善了修复性能。
• Ceph 中实现的 Clay 码在存储开销、修复带宽、访问效率与子分组化方面均达到最优，并为 Ceph 增加了向量码支持。
• PM-RBT 码作为产品矩阵 MSR 码的最优访问版本，在 Amazon EC2 中表现出色，尤其在速率 1/2 的码中表现优异。
• 基于容量优化的懒惰修复的 Liquid 存储系统逼近理论极限，在 MTTDL（数据丢失平均时间）方面优于小块长度码。