[论文解读] Distributed Storage Systems based on Equidistant Subspace Codes

Netanel Raviv, Tuvi Etzion|arXiv (Cornell University)|Jun 24, 2014

Advanced Data Storage Technologies参考文献 14被引用 4

一句话总结

本文提出一种基于普吕cker嵌入的等距子空间码的分布式存储系统，实现高效修复与重建，带宽最小化且存储开销低。系统接近达到最小带宽再生（MBR）与最小存储再生（MSR）性能，支持自修复功能，并允许从结构化节点集合中进行修复，可保证在最多 O(√B) 次故障下仍具韧性，且使用小域。

ABSTRACT

Distributed storage systems based on equidistant constant dimension codes are presented. These equidistant codes are based on the Plücker embedding, which is essential in the repair and the reconstruction algorithms. These systems posses several useful properties such as high failure resilience, minimum bandwidth, low storage, simple algebraic repair and reconstruction algorithms, good locality, and compatibility with small fields.

研究动机与目标

• 设计一种具有高故障韧性、最小修复带宽与低存储开销的分布式存储系统。
• 实现自修复码（SRC）特性，支持无需下载完整文件即可修复。
• 通过结构化子空间分配，实现最小带宽修复与良好局部性。
• 基于普吕cker嵌入与线性代数的代数算法，实现高效重建与修复。
• 在保持强韧性与性能的同时，确保与小有限域的兼容性。

提出的方法

• 系统使用从普吕cker嵌入导出的等距常维子空间码，定义消息空间维度 B = (b choose 2) 中的节点子空间。
• 每个节点存储 b−1 个域元素，数据通过满秩矩阵将文件 x 映射为节点特定的向量进行编码。
• 修复与重建通过求解由活跃节点所张成子空间相关联的矩阵构成的线性系统完成。
• 提供两种修复算法：一种最小化带宽（dβ ≤ α+1），另一种通过划分基子空间实现局部修复（局部性 c）。
• 通过抗性生成集构造，确保在最多 q^{c−1}−1 次故障后仍可修复，方法是确保幸存节点能张成所需子空间。
• 系统利用 F_q 上的线性码，通过特定最小距离确保韧性，使用生成矩阵将向量分配至节点。

实验结果

研究问题

• RQ1 能否使用等距子空间码构建接近最优修复带宽的分布式存储系统？
• RQ2 此类系统能否在保持低存储与高韧性的同时实现自修复码（SRC）特性？
• RQ3 如何在不牺牲修复带宽或域大小的前提下，通过子空间码实现分布式存储系统中的局部性？
• RQ4 在基于子空间的DSS设计中，修复带宽、存储开销与故障韧性之间的权衡关系如何？
• RQ5 系统是否能支持从任意 d 或 k 个节点进行修复与重建，还是仅限于特定结构化集合？

主要发现

• 系统实现 dβ ≤ α + 1，意味着其几乎达到最小带宽再生（MBR）特性，修复带宽仅比理论最小值多一个符号。
• 对于重建，当数据收集器提供额外信息时，系统仅需下载 B 个域元素即可恢复文件，实现MSR特性的变体。
• 在数据收集器提供额外数据的情况下，当 b 为偶数时，每个节点仅需下载 b/2 个域元素；当 b 为奇数时，仅需 (b±1)/2 个域元素，显著降低下载成本。
• 系统支持最多 O(√B) 次同时节点故障的修复，参数为 n = O(B^{1/2})，α = O(B^{1/2})，β = 1，且在需要时可仅使用二元域。
• 通过将 F_q^b 的基划分为 b/c 个子集，每个大小为 c，并使用一维子空间的代表元，实现局部性 c，可在最多 q^{c−1}−1 次故障后，仅用最多 c 个节点完成修复。
• 当 c=2 时，系统在任意域 q 上实现最小局部性 2，其故障韧性相对于节点数量的提升因子约为 c，优于平凡复制。