[论文解读] A realistic distributed storage system that minimizes data storage and repair bandwidth

Bernat Gastón, Jaume Pujol+1 more|arXiv (Cornell University)|Jan 8, 2013

Advanced Data Storage Technologies参考文献 3被引用 4

一句话总结

该论文提出了一种双机架分布式存储模型，通过引入机架感知的修复成本（即机架内通信成本低于机架间通信成本），在最小化数据存储和修复带宽的同时，将修复成本降至最低。该模型将再生码的阈值函数推广至处理非对称修复成本的情形，证明了新模型相比先前的基本模型和静态成本模型，尤其在 $k > d_1$ 时，能显著降低修复成本。通过基于机架位置优化选择中继节点，该模型实现了更低的修复带宽和更低的修复成本。

ABSTRACT

In a realistic distributed storage environment, storage nodes are usually placed in racks, a metallic support designed to accommodate electronic equipment. It is known that the communication (bandwidth) cost between nodes within a rack is much lower than the communication (bandwidth) cost between nodes within different racks. In this paper, a new model, where the storage nodes are placed in two racks, is proposed and analyzed. In this model, the storage nodes have different repair costs to repair a node depending on the rack where they are placed. A threshold function, which minimizes the amount of stored data per node and the bandwidth needed to regenerate a failed node, is shown. This threshold function generalizes the threshold function from previous distributed storage models. The tradeoff curve obtained from this threshold function is compared with the ones obtained from the previous models, and it is shown that this new model outperforms the previous ones in terms of repair cost.

研究动机与目标

• 为填补现实分布式存储模型中缺乏机架级通信成本差异考虑的空白，引入基于机架的通信成本差异。
• 建立一种存储系统模型，其中机架内与机架间修复带宽存在显著差异，以反映真实世界数据中心的拓扑结构。
• 将再生码的阈值函数推广至可处理基于机架位置的可变修复成本。
• 推导并分析在机架感知成本下，每个节点存储数据量与修复带宽之间的权衡关系。
• 证明所提出的机架模型相比先前模型能降低修复成本，尤其在 $k > d_1$ 时表现更优。

提出的方法

• 提出一种双机架模型，其中存储节点被划分为两组，具有不同的修复成本：$C_c$ 代表机架内通信成本，$C_e$ 代表机架间通信成本。
• 引入广义阈值函数 $f(i)$，用于根据来自每个机架的中继节点数量，确定每个 $i = 0, \dots, k-1$ 的最小修复带宽 $\gamma = d\beta$。
• 基于参数 $d_1, d_2, \tau = C_e/C_c$ 以及 $L[i](k-i) + g(i)$ 作为归一化因子，推导出有效修复带宽 $\beta_e = f(i)$ 及每个机架的修复成本 $C_T^1, C_T^2$。
• 在信息流图上应用最小割分析，建立在非对称成本下每个节点存储数据量 ($\alpha$) 与修复带宽 ($\gamma$) 之间的基本权衡关系。
• 将本模型的修复成本 $C_T$ 与文献[4]中的静态成本模型和文献[3]中的基本模型进行比较，表明其具有更高的成本效率。
• 通过数值评估表明，随着 $\tau = C_e/C_c$ 增大，修复成本 $C_T^1$ 和 $C_T^2$ 降低，且 $\eta(\tau)$ 单调递减。

实验结果

研究问题

• RQ1 引入基于机架的通信成本差异，如何影响分布式系统中存储与修复带宽之间的基本权衡？
• RQ2 能否推导出一个广义阈值函数，以在非对称修复成本（如机架内与机架间带宽）下建模再生码？
• RQ3 比值 $\tau = C_e/C_c$ 对双机架存储模型中修复成本的影响是什么？
• RQ4 在修复成本与带宽效率方面，所提出的机架模型与文献[4]中的静态成本模型和文献[3]中的基本模型相比有何差异？
• RQ5 在何种条件下，该机架模型在修复成本方面优于先前模型，尤其当 $k > d_1$ 时？

主要发现

• 由于基于机架位置优化选择中继节点，该机架模型相比文献[4]中的静态成本模型，尤其在 $k > d_1$ 时，显著降低了修复成本。
• 修复成本 $C_T^1$ 和 $C_T^2$ 随 $\tau = C_e/C_c$ 增大而单调递减，表明机架间成本比越高，整体修复成本越低。
• 广义阈值函数 $f(i)$ 有效扩展了先前模型，以处理非对称修复成本，使在真实环境下的权衡分析成为可能。
• 当 $\tau = 1$ 时，该机架模型退化为文献[3]中的基本模型，验证了与先前工作的兼容性。
• 当 $k \leq d_1$ 时，该机架模型与静态成本模型表现相似；但当 $k > d_1$ 时，该机架模型在 $\beta_e$ 和 $\alpha$ 方面均优于静态模型。
• 该模型实现了比先前模型更低的修复带宽与成本，且 $\eta(\tau) = C_T^{1}(\tau>1)/C_T^{1}(\tau=1)$ 随 $\tau$ 增大而减小，证明了成本效率的提升。