[论文解读] LT Codes For Efficient and Reliable Distributed Storage Systems Revisited

Yongge Wang|arXiv (Cornell University)|Jul 23, 2012

Advanced Data Storage Technologies参考文献 23被引用 5

一句话总结

本文提出了一种确定性的、高效的扁平BP-XOR码和阵列BP-XOR码，作为分布式存储中LT码的替代方案，利用置信传播译码，并建立了这些码与边着色图模型之间的等价性。关键贡献在于理论表征：当仅使用度数为一和二的编码符号时，阵列BP-XOR码最多只能容忍超出最小需求的一列冗余，这限制了其在高擦除场景下的可扩展性。

ABSTRACT

LT codes and digital fountain techniques have received significant attention from both academics and industry in the past few years. There have also been extensive interests in applying LT code techniques to distributed storage systems such as cloud data storage in recent years. However, Plank and Thomason's experimental results show that LDPC code performs well only asymptotically when the number of data fragments increases and it has the worst performance for small number of data fragments (e.g., less than 100). In their INFOCOM 2012 paper, Cao, Yu, Yang, Lou, and Hou proposed to use exhaustive search approach to find a deterministic LT code that could be used to decode the original data content correctly in distributed storage systems. However, by Plank and Thomason's experimental results, it is not clear whether the exhaustive search approach will work efficiently or even correctly. This paper carries out the theoretical analysis on the feasibility and performance issues for applying LT codes to distributed storage systems. By employing the underlying ideas of efficient Belief Propagation (BP) decoding process in LT codes, this paper introduces two classes of codes called flat BP-XOR codes and array BP-XOR codes (which can be considered as a deterministic version of LT codes). We will show the equivalence between the edge-colored graph model and degree-one-and-two encoding symbols based array BP-XOR codes. Using this equivalence result, we are able to design general array BP-XOR codes using graph based results. Similarly, based on this equivalence result, we are able to get new results for edge-colored graph models using results from array BP-XOR codes.

研究动机与目标

• 为解决在仅有少量数据片段的小规模分布式存储系统中，概率性LT码效率低下且结果不确定的问题。
• 为云存储应用开发基于置信传播译码的确定性、高效且可靠的擦除码。
• 建立阵列BP-XOR码与边着色图模型之间的正式等价关系，以实现跨领域洞察。
• 推导在度数为一和二的编码约束下，可支持的最大列数的理论边界。
• 为设计具有保证译码性能的可扩展、低复杂度LT码类系统提供基础。

提出的方法

• 提出扁平BP-XOR码和阵列BP-XOR码作为LT码的确定性变体，采用基于XOR的编码方式，并使用结构化校验符号。
• 建立使用度数为一和二的编码符号的阵列BP-XOR码与边着色图模型之间的等价性。
• 利用图论结果，推导在擦除容忍约束下此类码存在的必要条件。
• 应用置信传播译码原理，确保原始数据片段的高效且正确恢复。
• 推导出一个关键不等式（公式1），该不等式基于数据片段数n₀和块大小m，对列数n进行上界约束。
• 通过分析阵列码及其图论对偶结构中的结构约束，验证理论发现。

实验结果

研究问题

• RQ1 能否构建出确保在最小冗余下可靠译码的确定性LT类码？
• RQ2 在阵列BP-XOR码中，仅使用度数为一和二的编码符号的根本限制是什么？
• RQ3 阵列BP-XOR码与边着色图之间的等价性如何在两个领域中催生新的理论结果？
• RQ4 在仅使用度数为一和二的编码符号且具有t-擦除容忍能力的阵列BP-XOR码中，可支持的最大列数是多少？
• RQ5 从阵列码推导出的理论边界能否用于推断边着色图的性质，特别是关于容错能力的性质？

主要发现

• 对于仅使用度数为一和二的编码符号的t-擦除容忍场景，列数n满足不等式：n ≤ ((n₀−1)/(n₀−2)) × (n₀ − 2/((n₀−2)m + 1))，其中n₀ = n−t。
• 当n₀ ≥ 3时，最大列数n被限制为n₀+1，意味着仅能容忍超出最小需求的一列冗余。
• 当n₀ = 3且m ≥ 3时，最大列数为5，表明在低度编码下可扩展性存在严格上界。
• 阵列BP-XOR码与边着色图之间的等价性使得能够推导出关于图鲁棒性的新结果，例如：具有|C| ≥ 5种颜色的图最多只能容忍一种颜色失效。
• 理论分析证实，Cao等人提出的确定性LT码的穷举搜索方法无法保证成功或高效扩展，尤其在n₀较小时更为明显。
• 本文提供了一个用于生成和验证阵列BP-XOR码的软件包，支持实际部署与验证。