[论文解读] Cooperative Regenerating Codes

Kenneth W. Shum, Yuchong Hu|arXiv (Cornell University)|Jul 29, 2012

Advanced Data Storage Technologies参考文献 34被引用 8

一句话总结

本文提出了协作再生码，通过允许多个失效节点同时、协作地进行修复，最小化分布式存储系统中的修复带宽。它推导出节点存储量与修复带宽之间的闭式折衷关系，利用子模流理论证明其最优性，并提供有限域大小有界的显式构造，实现了协作修复场景下的理论最小修复流量。

ABSTRACT

One of the design objectives in distributed storage system is the minimization of the data traffic during the repair of failed storage nodes. By repairing multiple failures simultaneously and cooperatively, further reduction of repair traffic is made possible. A closed-form expression of the optimal tradeoff between the repair traffic and the amount of storage in each node for cooperative repair is given. We show that the points on the tradeoff curve can be achieved by linear cooperative regenerating codes, with an explicit bound on the required finite field size. The proof relies on a max-flow-min-cut-type theorem for submodular flow from combinatorial optimization. Two families of explicit constructions are given.

研究动机与目标

• 为解决大规模分布式存储系统中因多个节点失效而造成的高修复带宽问题。
• 开发一种协作修复模型，允许新节点在修复过程中相互交换数据，从而减少整体修复流量。
• 推导协作修复中每节点存储量与修复带宽之间的基本折衷关系，推广先前关于单节点失效修复的研究。
• 证明通过有限域大小有界的线性码可以实现最优折衷点。
• 提供满足理论折衷极限的协作再生码的显式构造。

提出的方法

• 作者使用具有无界接收端的信息流图来建模协作修复过程，表示数据收集者可连接任意k个存活节点。
• 应用子模流的最流-最小割型定理，推导出最优修复带宽折衷关系。
• 关键技术贡献是利用子模函数理论处理信息流图的无界性，从而实现有限域构造。
• 该方法包括构建辅助图并定义子模函数，以验证流的可行性并限制修复带宽。
• 构造了两族显式的线性协作再生码，给出了所需有限域大小的上界。
• 证明依赖于对弗兰克定理的迭代应用，以在修改后信息流图上构造有效流。

实验结果

研究问题

• RQ1 在多个失效节点的协作修复中，每节点存储量与修复带宽之间的基本折衷关系是什么？
• RQ2 能否通过线性网络编码实现最优折衷关系？所需的有限域大小是多少？
• RQ3 在修复过程中，新节点之间交换数据的协作修复方式相比独立单节点修复，如何降低修复带宽？
• RQ4 何种数学框架能够处理协作修复场景中信息流图的无界性？
• RQ5 能否提供显式的协作再生码构造，使其达到理论最小修复带宽？

主要发现

• 以闭式形式推导出协作修复中每节点存储量与修复带宽之间的最优折衷关系，推广了先前关于单失效修复的结果。
• 该折衷曲线可通过有限域大小有界的线性协作再生码实现，其大小以系统参数的多项式为界。
• 通过在修复过程中允许新节点之间交换数据，可最小化修复带宽，其效果超越了独立修复所能达到的极限。
• 证明表明，最优修复带宽受子模流条件限制，通过最流-最小割型定理得以验证。
• 提供了两组协作再生码的显式构造：一组基于信息流图的结构，另一组采用具有有界域大小的递归设计。
• 结果表明，在多个失效节点同时发生的情况下，协作修复可实现比单失效场景下功能修复更低的修复带宽。