[论文解读] A Piggybacking Design Framework for Read-and Download-efficient Distributed Storage Codes

K. V. Rashmi, Nihar B. Shah+1 more|arXiv (Cornell University)|Feb 24, 2013

Advanced Data Storage Technologies参考文献 25被引用 8

一句话总结

本文提出了一种分身框架，可增强分布式存储码以最小化节点修复期间的数据读取和下载。通过组合多个现有码的实例，并在实例之间添加精心设计的数据函数，该框架实现了高达50%的数据读取和下载减少，使目前在高码率、小子分条设置下、二进制MDS码以及低局部性MDS码方面最高效的MDS码成为可能。

ABSTRACT

We present a new 'piggybacking' framework for designing distributed storage codes that are efficient in data-read and download required during node-repair. We illustrate the power of this framework by constructing classes of explicit codes that entail the smallest data-read and download for repair among all existing solutions for three important settings: (a) codes meeting the constraints of being Maximum-Distance-Separable (MDS), high-rate and having a small number of substripes, arising out of practical considerations for implementation in data centers, (b) binary MDS codes for all parameters where binary MDS codes exist, (c) MDS codes with the smallest repair-locality. In addition, we employ this framework to enable efficient repair of parity nodes in existing codes that were originally constructed to address the repair of only the systematic nodes. The basic idea behind our framework is to take multiple instances of existing codes and add carefully designed functions of the data of one instance to the other. Typical savings in data-read during repair is 25% to 50% depending on the choice of the code parameters.

研究动机与目标

• 解决在分布式存储系统中最小化节点修复期间的数据读取和下载的迫切需求，以降低运营成本并提高效率。
• 设计显式存储码，使其具备MDS特性、高码率且子分条数量较少——这是数据中心部署的实际约束条件。
• 在原本仅针对系统节点修复优化的现有码中，实现系统节点和校验节点的高效修复。
• 构建首个显式二进制MDS码，适用于所有可行参数，实现最小的数据读取和下载。
• 在保持高码率和低存储开销的同时，实现MDS码中最小的修复局部性。

提出的方法

• 通过组合多个现有基础码（如MDS码）的实例，并将一个实例的数据函数添加到另一实例的符号中，构建新码。
• 使用线性组合（例如数据符号的加权和）设计分身函数，以实现高效修复，同时不改变最小距离或操作域。
• 利用现有再生码的结构，通过从系统节点和其他校验节点分身携带数据，实现校验节点的高效修复。
• 将该框架应用于现有码（如EVENODD、RDP和修复优化的再生码），以提升校验修复效率。
• 采用分组策略（例如将校验节点划分为大小为⌊r/√(k+1)⌋的组）以优化校验节点间的平均修复负载。
• 通过保持满秩编码矩阵并验证任意k个节点均可恢复完整消息，确保MDS特性得以保留。

实验结果

研究问题

• RQ1 能否设计一种通用框架，在不损害MDS或二进制特性的前提下，减少分布式存储码在节点修复期间的数据读取和下载？
• RQ2 采用系统化设计方法时，高码率、小子分条MDS码在数据读取和下载方面可实现的最大减少量是多少？
• RQ3 能否在原本仅针对系统节点修复设计的码中，实现校验节点的高效修复？
• RQ4 何种最优的分身函数设计可最小化修复负载，同时保持最小距离和域大小等码特性？
• RQ5 该框架能否用于构建显式二进制MDS码，实现最小修复带宽和数据读取？

主要发现

• 分身框架在修复期间实现了高达50%的数据读取和下载减少，具体节省比例为25%–50%，取决于码参数。
• 对于高码率、小子分条MDS码，该框架构建的码实现了目前已知最小的平均修复数据读取量，优于现有方案如Rotated-RS和EVENODD。
• 该框架可为所有可行参数构建显式二进制MDS码，实现最小的修复带宽和数据读取。
• 该框架将现有再生码中校验节点修复的平均下载量和读取量从2kμ降低至约(2k + 2)/3k μ，在示例情况下实现33%的节省。
• 通过将校验节点分组并按组应用分身，校验节点的平均修复负载降低至(1/2) + (k + (r/g - 1)²)/(2k(r/g)) 每消息单位，其中 g = ⌊r/√(k+1)⌋。
• 分身操作下，MDS特性与有限域操作保持不变，确保任意k个节点均可恢复数据，并与现有系统向后兼容。