[论文解读] A Solution to the Network Challenges of Data Recovery in Erasure-coded Distributed Storage Systems: A Study on the Facebook Warehouse Cluster

K. V. Rashmi, Nihar B. Shah+4 more|arXiv (Cornell University)|Sep 1, 2013

Advanced Data Storage Technologies被引用 192

一句话总结

本文提出了一种名为 Piggybacked-RS 的新型纠删码，基于打孔框架构建，可在纠删码分布式存储系统中的数据恢复过程中将网络和磁盘 I/O 降低 30%。在 Facebook 生产仓库集群上的评估显示，该编码每日可减少近 50 TB 的跨机架流量，同时保持存储最优性并支持任意参数。

ABSTRACT

Erasure codes, such as Reed-Solomon (RS) codes, are being increasingly employed in data centers to combat the cost of reliably storing large amounts of data. Although these codes provide optimal storage efficiency, they require significantly high network and disk usage during recovery of missing data. In this paper, we first present a study on the impact of recovery operations of erasure-coded data on the data-center network, based on measurements from Facebook's warehouse cluster in production. To the best of our knowledge, this is the first study of its kind available in the literature. Our study reveals that recovery of RS-coded data results in a significant increase in network traffic, more than a hundred terabytes per day, in a cluster storing multiple petabytes of RS-coded data. To address this issue, we present a new storage code using our recently proposed "Piggybacking" framework, that reduces the network and disk usage during recovery by 30% in theory, while also being storage optimal and supporting arbitrary design parameters. The implementation of the proposed code in the Hadoop Distributed File System (HDFS) is underway. We use the measurements from the warehouse cluster to show that the proposed code would lead to a reduction of close to fifty terabytes of cross-rack traffic per day.

研究动机与目标

• 分析大规模数据中心中纠删码恢复对网络基础设施的实际影响。
• 解决生产系统中 Reed-Solomon 编码数据恢复期间高网络和磁盘带宽消耗的问题。
• 设计一种在不牺牲存储效率或容错能力的前提下减少恢复带宽的存储编码。
• 使用 Facebook 仓库集群的真实测量数据评估所提出编码的性能。

提出的方法

• 作者使用打孔框架修改 Reed-Solomon 编码，将多个条带的编码数据引入校验符号中，以减少恢复带宽。
• 新编码称为 Piggybacked-RS，可通过仅下载标准 RS 编码所需数据的 70% 来恢复缺失的数据块。
• 该设计支持任意参数 (k, r)，确保存储最优性和最大距离可分（MDS）特性。
• 通过 Facebook 仓库集群的真实测量数据对方法进行评估，显著减少了跨机架流量。
• 理论分析证实，对于任意 (k, r) RS 编码，恢复期间网络和磁盘使用量可减少 30%。
• HDFS 中已启动实现，以在大规模环境中验证性能。

实验结果

研究问题

• RQ1 在大规模生产集群中，纠删码恢复每天会产生多少跨机架网络流量？
• RQ2 在不增加存储开销或降低容错能力的前提下，恢复带宽最多可减少多少？
• RQ3 一种连接更多节点但每个节点下载更少数据的编码设计，是否能减少整体恢复时间和网络负载？
• RQ4 与 LRCs 和再生码等现有编码相比，所提出的 Piggybacked-RS 编码在带宽效率和存储开销方面表现如何？
• RQ5 在生产数据中心环境中部署此类编码的实际影响是什么？

主要发现

• Facebook 仓库集群中纠删码数据的恢复每天产生超过 100 TB 的跨机架网络流量。
• 所提出的 Piggybacked-RS 编码将该流量每日减少近 50 TB，实现网络和磁盘使用量 30% 的减少。
• 该编码保持了存储最优性和 MDS 特性，无需额外存储开销，仅与标准 RS 编码相当。
• 由于传输的总数据量减少，预计恢复时间将缩短，即使需要联系更多节点。
• 该编码支持任意 (k, r) 参数，而先前的编码如 Rotated-RS 或 LRCs 仅限于少量校验数。
• 初步实验表明，节点连接数增加并不会延长恢复时间，因为带宽是主要瓶颈。