[论文解读] Distributed Data Storage with Minimum Storage Regenerating Codes - Exact and Functional Repair are Asymptotically Equally Efficient

Viveck R. Cadambe, Syed A. Jafar+1 more|arXiv (Cornell University)|Apr 24, 2010

Advanced Data Storage Technologies参考文献 9被引用 58

一句话总结

本文证明，在使用最小存储再生（MSR）码的分布式存储系统中，当文件大小 M 趋近于无穷大时，无论码参数 (n,k) 如何，失败节点的精确修复在渐近意义上达到与功能修复相同的最优修复带宽。通过适配无线网络中渐近最优的干扰对齐方案，作者表明每单位数据的修复带宽收敛至 $\frac{n-1}{k(n-k)}$，从而在大文件极限下，精确修复相对于功能修复不存在理论上的带宽代价。

ABSTRACT

We consider a set up where a file of size M is stored in n distributed storage nodes, using an (n,k) minimum storage regenerating (MSR) code, i.e., a maximum distance separable (MDS) code that also allows efficient exact-repair of any failed node. The problem of interest in this paper is to minimize the repair bandwidth B for exact regeneration of a single failed node, i.e., the minimum data to be downloaded by a new node to replace the failed node by its exact replica. Previous work has shown that a bandwidth of B=[M(n-1)]/[k(n-k)] is necessary and sufficient for functional (not exact) regeneration. It has also been shown that if k < = max(n/2, 3), then there is no extra cost of exact regeneration over functional regeneration. The practically relevant setting of low-redundancy, i.e., k/n>1/2 remains open for k>3 and it has been shown that there is an extra bandwidth cost for exact repair over functional repair in this case. In this work, we adopt into the distributed storage context an asymptotically optimal interference alignment scheme previously proposed by Cadambe and Jafar for large wireless interference networks. With this scheme we solve the problem of repair bandwidth minimization for (n,k) exact-MSR codes for all (n,k) values including the previously open case of k > \max(n/2,3). Our main result is that, for any (n,k), and sufficiently large file sizes, there is no extra cost of exact regeneration over functional regeneration in terms of the repair bandwidth per bit of regenerated data. More precisely, we show that in the limit as M approaches infinity, the ratio B/M = (n-1)/(k(n-k))$.

研究动机与目标

• 为解决分布式存储系统中低冗余环境下精确修复是否导致更高修复带宽的开放问题。
• 填补对 $k > \max(n/2, 3)$ 情况下理解的空白，此前研究表明精确修复存在额外开销。
• 证明渐近最优的干扰对齐可被适配至分布式存储系统，以实现精确再生的最小修复带宽。
• 证明在大文件极限下，精确再生的最小修复带宽与功能修复的下界一致。

提出的方法

• 将原始用于无线干扰信道的 Cadambe-Jafar 干扰对齐方案——适配至分布式存储场景。
• 在大量信号维度上采用线性波束成形方法，以对齐干扰并最小化修复带宽。
• 构建一组线性方程，表示从健康节点下载数据，确保修复节点能重建精确的失败数据。
• 采用矩阵行列式分析，证明系统矩阵满秩，从而保证精确修复成功。
• 对系统矩阵进行行与列的置换，揭示其分块对角结构，简化行列式分析。
• 证明系统矩阵的行列式是独立信道系数的非零多项式，意味着几乎必然非奇异恢复。

实验结果

研究问题

• RQ1 在分布式存储系统中，与功能修复相比，精确修复是否存在根本性的带宽代价？
• RQ2 干扰对齐技术能否被适配以实现所有 (n,k) 配置下精确再生的最优修复带宽？
• RQ3 随着文件大小增加，精确再生的修复带宽是否收敛至功能修复的下界？
• RQ4 当 $k > \max(n/2, 3)$ 时，精确再生的渐近修复带宽是多少？

主要发现

• 对于任意 (n,k) 及足够大的文件大小 M，精确再生的修复带宽渐近达到与功能再生相同的最小值。
• 单位数据修复带宽的极限为 $\lim_{M\to\infty}\frac{B}{M} = \frac{n-1}{k(n-k)}$，与功能修复的下界一致。
• 通过干扰对齐实现渐近最优性，即在大量信号维度上实现近乎完美的对齐。
• 证明表明，精确修复的系统矩阵以概率一满秩，确保成功数据重建。
• 该结果与冗余水平无关，包括此前研究表明精确修复存在代价的低冗余场景。