[论文解读] Explicit Codes Minimizing Repair Bandwidth for Distributed Storage

Nihar B. Shah, K. V. Rashmi+2 more|ArXiv.org|Aug 20, 2009

Advanced Data Storage Technologies参考文献 2被引用 5

一句话总结

本文提出了一种显式、最优的精确再生码，用于分布式存储系统，通过在 $\beta=1$ 时达到系统节点修复的理论下界，最小化修复带宽。该方案采用基于组的编码结构并结合干扰对齐技术，实现 $d\beta = \alpha + (k-1)$ 的精确再生，并证明当 $d \geq 2k-1$ 时达到最优性，且在 $d \geq 2k-3$ 时存在性成立，同时表明当 $d \leq 2k-4$ 时除平凡情况外无法达到该下界。

ABSTRACT

We consider the setting of data storage across n nodes in a distributed manner. A data collector (DC) should be able to reconstruct the entire data by connecting to any k out of the n nodes and downloading all the data stored in them. When a node fails, it has to be regenerated back using the existing nodes. In a recent paper, Wu et al. have obtained an information theoretic lower bound for the repair bandwidth. Also, there has been additional interest in storing data in systematic form as no post processing is required when DC connects to k systematic nodes. Because of their preferred status there is a need to regenerate back any systematic node quickly and exactly. Replacement of a failed node by an exact replica is termed Exact Regeneration.In this paper, we consider the problem of minimizing the repair bandwidth for exact regeneration of the systematic nodes. The file to be stored is of size B and each node can store alpha = B/k units of data. A failed systematic node is regenerated by downloading beta units of data each from d existing nodes. We give a lower bound for the repair bandwidth for exact regeneration of the systematic nodes which matches with the bound given by Wu et al. For d >= 2k-1 we give an explicit code construction which minimizes the repair bandwidth when the existing k-1 systematic nodes participate in the regeneration. We show the existence and construction of codes that achieve the bound for d >= 2k-3. Here we also establish the necessity of interference alignment. We prove that the bound is not achievable for d <= 2k-4 when beta=1. We also give a coding scheme which can be used for any d and k, which is optimal for d >= 2k-1.

研究动机与目标

• 最小化分布式存储系统中系统节点的精确再生修复带宽。
• 构造显式码，使其在 $\beta=1$ 时达到修复带宽的理论下界。
• 确定修复带宽下界在何种条件下可实现或不可实现。
• 建立干扰对齐在特定参数范围内实现最优修复带宽的必要性。
• 提出一种通用编码方案，该方案在 $d \geq 2k-1$ 时最优，并在 $d \geq 2k-3$ 时可构造。

提出的方法

• 提出一种基于组的编码结构，将系统节点划分为 $\alpha$ 个组，并使用基于多项式的线性泛函为非系统节点分配组。
• 利用干扰对齐技术通过确保节点间修复向量的线性无关性，实现修复过程中不需要的干扰的消除。
• 将修复和数据重构条件建模为非零多项式行列式，确保精确再生和数据收集的可行性。
• 应用 Koetter-Medard 算法为变量赋值，使得所有所需多项式非零，从而保证码的存在性。
• 推导出修复带宽的下界 $d\beta \geq \alpha + (k-1)\beta$，该下界与速率-存储权衡曲线上的 MSR 点一致。
• 为 $k \leq \alpha$ 且 $d \geq 2k-1$ 的情况构造显式码，并证明当 $k \leq \alpha+2$ 且 $d \geq 2k-3$ 时码的存在性。

实验结果

研究问题

• RQ1 能否构造出显式码，在 $\beta=1$ 时实现系统节点精确再生的修复带宽理论下界？
• RQ2 在 $\beta=1$ 时，修复带宽下界对哪些 $d$ 和 $k$ 值可实现？
• RQ3 干扰对齐在实现精确再生中最优修复带宽方面起到什么作用？
• RQ4 当 $\beta=1$ 时，修复带宽下界在 $d \leq 2k-4$ 时是否可实现？
• RQ5 能否设计一种通用编码方案，使其在 $d \geq 2k-1$ 时最优，并在 $d \geq 2k-3$ 时可构造？

主要发现

• 当 $k \leq \alpha$ 且 $d \geq 2k-1$ 时，修复带宽下界 $d\beta \geq \alpha + (k-1)\beta$ 可通过显式构造实现。
• 当 $d \geq 2k-3$ 时，存在实现该下界的显式码，且干扰对齐在此参数范围内为必要条件。
• 当 $\beta=1$ 时，若 $d \leq 2k-4$，则下界不可实现，除非 $\alpha=1$，此时任意 $[n,k]$ MDS 码均可达到该下界。
• 当组的划分均匀时，所提方案实现最小平均修复带宽，其中 $s = \lfloor k/\alpha \rfloor$，且有 $k \bmod \alpha$ 个大小为 $s+1$ 的组。
• 仿真结果表明，当 $d \geq 2k-1$ 时，该方案与理论下界一致，且在 $k=9$ 时优于先前的组干扰对齐方案。
• 修复带宽为 $\gamma = (\eta-1)\alpha + (d - \eta + 1)$，其中 $\eta$ 为组内节点数，且在组均匀分布时最小化。