[论文解读] Optimized-Cost Repair in Multi-hop Distributed Storage Systems with Network Coding

Majid Gerami, Ming Xiao+3 more|arXiv (Cornell University)|Mar 25, 2013

Advanced Data Storage Technologies参考文献 24被引用 6

一句话总结

本文提出了一种基于网络编码的多跳分布式存储系统的最优成本修复方案，将修复成本最小化建模为线性规划问题。它建立了修复成本的基本下界，并通过最优成本最小存储再生（OCMSR）码证明该下界可实现，通过在各种网络拓扑中利用存活节点协作显著降低修复成本。

ABSTRACT

In distributed storage systems reliability is achieved through redundancy stored at different nodes in the network. Then a data collector can reconstruct source information even though some nodes fail. To maintain reliability, an autonomous and efficient protocol should be used to repair the failed node. The repair process causes traffic and consequently transmission cost in the network. Recent results found the optimal trafficstorage tradeoff, and proposed regenerating codes to achieve the optimality. We aim at minimizing the transmission cost in the repair process. We consider the network topology in the repair, and accordingly modify information flow graphs. Then we analyze the cut requirement and based on the results, we formulate the minimum-cost as a linear programming problem for linear costs. We show that the solution of the linear problem establishes a fundamental lower bound of the repair-cost. We also show that this bound is achievable for minimum storage regenerating, which uses the optimal-cost minimum-storage regenerating (OCMSR) code. We propose surviving node cooperation which can efficiently reduce the repair cost. Further, the field size for the construction of OCMSR codes is discussed. We show the gain of optimal-cost repair in tandem, star, grid and fully connected networks.

研究动机与目标

• 最小化多跳分布式存储系统中故障节点的传输成本。
• 利用改进的信息流图对网络拓扑和修复过程进行建模，以实现精确的成本分析。
• 将最小修复成本建模为线性规划问题，其中网络链路上的成本为线性。
• 利用第一轮修复阶段的割集约束，建立修复成本的基本下界。
• 通过最优成本最小存储再生（OCMSR）码证明该下界可实现。

提出的方法

• 使用包含网络拓扑和多跳路由的改进信息流图对修复过程进行建模。
• 子图向量 $\underline{z} = [z_{(ij)}]$ 表示从节点 $i$ 到 $j$ 传输的分片数量，其中 $z_{(ij)}$ 为非负整数。
• 修复成本定义为 $\sigma_c(\underline{z}) = \sum_{(ij)\in A} c_{(ij)} z_{(ij)}$，其中 $c_{(ij)}$ 为链路 $(ij)$ 上每分片的成本。
• 通过割集约束确保任意 $k$ 个节点均可重构原始文件，从而形成多面体 $\Psi = \{\underline{z} \mid \underline{L}\underline{z} \geq \underline{b}, z_{(ij)} \geq 0\}$。
• 通过在此多面体上求解线性规划问题，获得修复成本的下界。
• 本文证明，通过 OCMSR 码构造方法，该下界对最小存储再生（MSR）码而言是可实现的。

实验结果

研究问题

• RQ1 在使用网络编码的多跳分布式存储系统中，修复成本的基本下界是什么？
• RQ2 该下界在实际中是否可实现？在何种码构造下可实现？
• RQ3 在不同网络拓扑中，存活节点协作如何降低修复成本？
• RQ4 构造 OCMSR 码以实现最优修复成本所需的域大小是多少？
• RQ5 在串行、星型、网格和全连接网络拓扑中，修复成本如何变化？

主要发现

• 通过在由割集约束定义的多面体上建立线性规划问题，最小化修复成本，从而获得基本下界。
• 证明该下界可通过最优成本最小存储再生（OCMSR）码实现，尤其是在 $\alpha = M/k$ 时。
• 存活节点协作通过在多跳网络中高效转发数据，显著降低修复成本。
• 所提出的 OCMSR 码在串行、星型、网格和全连接网络拓扑中均实现最优修复成本。
• 分析了构造 OCMSR 码所需的域大小，表明其在实际实现中具有可行性。
• 在第一轮修复阶段的割集分析提供了修复成本的紧下界，足以表征最优解。