[论文解读] Cost Analysis of Redundancy Schemes for Distributed Storage Systems

Lluís Pàmies-Juàrez, Ernst W. Biersack|arXiv (Cornell University)|Mar 14, 2011

Advanced Data Storage Technologies参考文献 27被引用 9

一句话总结

本文分析了在分布式存储系统中冗余方案的存储与通信成本，重点关注再生码和混合复制-编码方案。基于节点可用性和带宽约束，推导出最优配置，表明与复制相比，再生码可将成本降低20%–80%，且最优修复度 $d$ 取决于节点正常运行时间。

ABSTRACT

Distributed storage infrastructures require the use of data redundancy to achieve high data reliability. Unfortunately, the use of redundancy introduces storage and communication overheads, which can either reduce the overall storage capacity of the system or increase its costs. To mitigate the storage and communication overhead, different redundancy schemes have been proposed. However, due to the great variety of underlaying storage infrastructures and the different application needs, optimizing these redundancy schemes for each storage infrastructure is cumbersome. The lack of rules to determine the optimal level of redundancy for each storage configuration leads developers in industry to often choose simpler redundancy schemes, which are usually not the optimal ones. In this paper we analyze the cost of different redundancy schemes and derive a set of rules to determine which redundancy scheme minimizes the storage and the communication costs for a given system configuration. Additionally, we use simulation to show that theoretically-optimal schemes may not be viable in a realistic setting where nodes can go off-line and repairs may be delayed. In these cases, we identify which are the trade-offs between the storage and communication overheads of the redundancy scheme and its data reliability.

研究动机与目标

• 分析使用冗余方案的分布式存储系统中存储与通信成本之间的权衡。
• 根据系统参数（如节点可用性和带宽利用率）确定再生码的最优配置。
• 评估混合复制+编码方案在成本效率方面是否优于简单复制。
• 评估理论上最优方案在现实世界节点故障和修复延迟条件下的可扩展性与可靠性。
• 根据存储容量和通信带宽等系统约束，提供选择冗余方案的实用规则。

提出的方法

• 作者使用分析建模计算再生码的存储与通信成本，将其视为一个通用框架，其中复制和MDS码为特例。
• 推导出考虑节点在线可用性、修复度 $d$ 和基础修复时间 $B$ 的成本函数，整合了现实世界中的节点动态。
• 使用基于事件的仿真器评估在不同带宽利用率、对象大小和修复度下的系统行为。
• 仿真测量了不同配置（包括MSR和MBR码）下的实际带宽利用率、修复时间及系统可扩展性。
• 在多个系统参数下，将混合方案（复制 + MSR码）与纯复制和再生码进行比较。
• 通过改变关键参数（如 $k$（文件重建所需节点数）、$d$（修复时联系的节点数）和对象大小），评估成本与可靠性的权衡。

实验结果

研究问题

• RQ1 在不同节点可用性条件下，最小化存储与通信成本的最优修复度 $d$ 是多少？
• RQ2 在何种条件下，混合复制+编码方案相比纯复制可降低存储与通信成本？
• RQ3 节点在线可用性和带宽利用率如何影响再生码的可靠性和性能？
• RQ4 由于修复延迟和节点故障，理论上最优的冗余方案在多大程度上在实际中会失效？
• RQ5 对象大小和存储对象数量如何影响现实环境中修复时间和系统可扩展性？

主要发现

• 根据系统配置不同，再生码可将总系统成本（存储与通信）相比简单复制降低20%至80%。
• 最优修复度 $d$ 必须足够小，以确保修复时间短于典型节点在线持续时间，从而防止修复期间发生数据丢失。
• 对于存储容量有限的系统，MSR码可最大化存储效率；对于通信带宽有限的系统，MBR码为最优。
• 当节点可用率为99%时，$k=5$ 为最优；当可用率降至50%时，需 $k=50$ 才能维持可靠性。
• 在相同配置下，高修复度（$d=36$）可比低 $d$ 值（$d=20$）多存储最多10倍的数据（6452个对比683个对象）。
• 在存在修复延迟的实际环境中，即使理论上最优的方案也可能无法确保数据可靠性，凸显了在成本与持久性之间进行实际权衡的必要性。