[论文解读] Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems

Yuchong Hu, Patrick P. C. Lee+1 more|arXiv (Cornell University)|Aug 14, 2012

Advanced Data Storage Technologies参考文献 20被引用 5

一句话总结

本文形式化证明了无需编码的函数最小存储再生（FMSR）码的存在性，实现了最小修复带宽和磁盘读取量，且无需在存活节点中进行编码。本文提出了一种确定性构造方法，即使在大规模系统中，修复校验时间也低于0.5秒，显著优于随机FMSR码方法。

ABSTRACT

Modern distributed storage systems apply redundancy coding techniques to stored data. One form of redundancy is based on regenerating codes, which can minimize the repair bandwidth, i.e., the amount of data transferred when repairing a failed storage node. Existing regenerating codes mainly require surviving storage nodes encode data during repair. In this paper, we study functional minimum storage regenerating (FMSR) codes, which enable uncoded repair without the encoding requirement in surviving nodes, while preserving the minimum repair bandwidth guarantees and also minimizing disk reads. Under double-fault tolerance settings, we formally prove the existence of FMSR codes, and provide a deterministic FMSR code construction that can significantly speed up the repair process. We further implement and evaluate our deterministic FMSR codes to show the benefits. Our work is built atop a practical cloud storage system that implements FMSR codes, and we provide theoretical validation to justify the practicality of FMSR codes.

研究动机与目标

• 为了在理论上验证具有无编码修复的函数最小存储再生（FMSR）码在分布式存储系统中的实用性。
• 为解决FMSR码是否能在多次修复轮次中保持MDS容错能力这一开放问题。
• 设计一种确定性FMSR码构造方法，消除修复数据块选择中的随机搜索开销。
• 在真实环境中评估并展示确定性FMSR码相较于随机FMSR码实现的显著性能提升。
• 为NCCloud等系统中现有实际FMSR码部署提供理论基础。

提出的方法

• 在双重故障容错条件下，对FMSR码的存在性进行形式化证明，表明MDS容错能力在任意次修复后仍被保持。
• 设计一种确定性FMSR码构造方法，明确指定修复过程中需读取的数据块以及使用的编码系数。
• 采用两阶段校验方法，验证所选数据块在重构过程中是否保持MDS特性。
• 使用C语言和查表法有限域算术，在GF(2^8)上实现并评估随机与确定性FMSR码变体。
• 在2.4GHz Intel CPU上进行评估，每轮运行50次修复，节点数（n）变化，共使用30组随机种子。
• 重点关注两阶段校验时间作为修复处理开销的代理指标，与I/O时间无关。

实验结果

研究问题

• RQ1 具有无编码修复的函数最小存储再生（FMSR）码是否能在多次修复轮次中保持MDS级别的容错能力？
• RQ2 是否存在一种确定性方法，可选择修复数据块和编码系数，从而保证MDS特性保持且无需随机搜索？
• RQ3 随着节点数增加，确定性FMSR码与随机FMSR码在修复校验时间上的性能差异如何？
• RQ4 确定性FMSR码是否能在大规模系统中实现修复时间低于一秒？
• RQ5 随机与确定性数据块选择对修复过程中两阶段校验迭代次数有何影响？

主要发现

• 本文形式化证明了具有无编码修复的FMSR码的存在性，且可在多次修复轮次中无限期保持MDS容错能力。
• 与随机FMSR码平均约100次两阶段校验迭代相比，确定性FMSR码在n=10时，平均两阶段校验迭代次数低于2.5次。
• 对于n ≤ 10，确定性FMSR码的总修复校验时间保持在0.2秒以下，而随机FMSR码超过1秒且随n指数增长。
• 当n=12时，随机FMSR码修复在两小时内未能收敛，而确定性FMSR码在0.5秒内完成。
• 该确定性构造在所有评估配置下均实现修复时间低于一秒，证明了其高度实用性。
• 结果验证了现有实际FMSR码实现（如NCCloud中的实现）的正确性与可行性，确认了其理论合理性。