[论文解读] A realistic distributed storage system: the rack model

Bernat Gastón, Jaume Pujol+1 more|arXiv (Cornell University)|Feb 22, 2013

Advanced Data Storage Technologies参考文献 7被引用 7

一句话总结

本文提出了一种现实的基于机架的分布式存储模型，其中机架内与机架间通信的修复带宽成本不同。通过引入一个广义阈值函数，该函数考虑了跨机架的可变修复成本，该模型在修复成本方面优于以往的同质或静态成本模型，其分析性权衡曲线显示了在数据再生和存储开销方面的更高效率。

ABSTRACT

In a realistic distributed storage environment, storage nodes are usually placed in racks, a metallic support designed to accommodate electronic equipment. It is known that the communication (bandwidth) cost between nodes which are in the same rack is much lower than between nodes which are in different racks. In this paper, a new model, where the storage nodes are placed in two racks, is proposed and analyzed. Moreover, the two-rack model is generalized to any number of racks. In this model, the storage nodes have different repair costs depending on the rack where they are placed. A threshold function, which minimizes the amount of stored data per node and the bandwidth needed to regenerate a failed node, is shown. This threshold function generalizes the ones given for previous distributed storage models. The tradeoff curve obtained from this threshold function is compared with the ones obtained from the previous models, and it is shown that this new model outperforms the previous ones in terms of repair cost.

研究动机与目标

• 通过整合机架级网络拓扑和可变通信成本，更准确地建模现实世界的分布式存储系统。
• 解决以往模型的局限性，即假设无论节点位置如何，修复带宽均保持一致。
• 推导出一个广义阈值函数，以捕捉多机架间异构的修复成本。
• 分析在多机架环境中，每个节点存储数据量与修复带宽之间的权衡关系。
• 证明与静态成本模型和同质模型相比，该机架模型能降低整体修复成本。

提出的方法

• 提出一个双机架模型，其中机架内修复带宽成本低于机架间带宽，为机架间通信引入一个大于1的成本因子 τ。
• 提出广义阈值函数 f(i) = M / [L[i](k−i) + g(i)]，用于确定最优修复带宽 βₑ，以考虑不同辅助节点成本的差异。
• 在信息流图上应用最小割分析，推导出存储数据量（α）与修复带宽（γ = dβ）之间的基本权衡关系。
• 通过制定算法计算在异构成本下新节点的最小割集合，将双机架模型扩展至 r ≥ 2 个机架。
• 利用广义阈值函数最小化每个节点的存储数据量和修复带宽，从而优化系统效率。
• 通过总修复成本 C_T¹ 和 βₑ 等指标，将该机架模型与以往模型（基本再生码和静态成本模型）进行比较。

实验结果

研究问题

• RQ1 整合机架级网络拓扑如何影响分布式存储系统的设计与性能？
• RQ2 当修复成本在不同机架之间变化时，每个节点存储数据量与修复带宽之间的最优权衡是什么？
• RQ3 能否推导出一个广义阈值函数，以在分布式存储系统中建模多机架间的异构修复成本？
• RQ4 该机架模型的修复成本与以往的静态成本模型和同质模型相比如何？
• RQ5 增加机架数量对最小修复成本和系统效率有何影响？

主要发现

• 与静态成本模型相比，该机架模型降低了总修复成本 C_T¹，因为高 τ 值使得机架间辅助节点对成本的贡献更小。
• 广义阈值函数 f(i) = M / [L[i](k−i) + g(i)] 成功捕捉了可变修复成本，并推广了先前的模型。
• 当 M=1, k=10, d=11, τ=10 时，随着 τ 增大，修复带宽 βₑ 显著下降，表明在机架间成本较高的情况下效率得到提升。
• 如图9所示，修复成本 C_T¹ 与 βₑ 成正比，证实了更低的 βₑ 可带来更低的整体修复成本。
• 双机架模型的修复成本低于静态成本模型，因为该机架模型为机架内辅助节点分配了更低的有效成本。
• 将模型推广至 r ≥ 2 个机架，使得能够对具有多个机架的真实数据中心进行建模，且寻找最小割集合的算法是其新颖贡献。