[論文レビュー] LT Codes For Efficient and Reliable Distributed Storage Systems Revisited

Yongge Wang|arXiv (Cornell University)|Jul 23, 2012

Advanced Data Storage Technologies参考文献 23被引用数 5

ひとこと要約

本稿では、信念伝播復号を用い、エッジ彩色グラフモデルと同等性を確立することで、分散ストレージにおけるLTコードの確率的でない、効率的な代替手段として、フラットBP-XORおよびアレイBP-XORコードを導入する。主な貢献は、符号の次数が1および2に制限される場合、アレイBP-XORコードは最小要件を超えてたった1列の冗長性しか耐えられず、高エラー状態においてスケーラビリティが制限されることを理論的に特定することにある。

ABSTRACT

LT codes and digital fountain techniques have received significant attention from both academics and industry in the past few years. There have also been extensive interests in applying LT code techniques to distributed storage systems such as cloud data storage in recent years. However, Plank and Thomason's experimental results show that LDPC code performs well only asymptotically when the number of data fragments increases and it has the worst performance for small number of data fragments (e.g., less than 100). In their INFOCOM 2012 paper, Cao, Yu, Yang, Lou, and Hou proposed to use exhaustive search approach to find a deterministic LT code that could be used to decode the original data content correctly in distributed storage systems. However, by Plank and Thomason's experimental results, it is not clear whether the exhaustive search approach will work efficiently or even correctly. This paper carries out the theoretical analysis on the feasibility and performance issues for applying LT codes to distributed storage systems. By employing the underlying ideas of efficient Belief Propagation (BP) decoding process in LT codes, this paper introduces two classes of codes called flat BP-XOR codes and array BP-XOR codes (which can be considered as a deterministic version of LT codes). We will show the equivalence between the edge-colored graph model and degree-one-and-two encoding symbols based array BP-XOR codes. Using this equivalence result, we are able to design general array BP-XOR codes using graph based results. Similarly, based on this equivalence result, we are able to get new results for edge-colored graph models using results from array BP-XOR codes.

研究の動機と目的

• 少数のデータ断片を持つ小規模な分散ストレージシステムにおける確率的LTコードの非効率性と不確実性を解消すること。
• クラウドストレージ応用を想定し、信念伝播復号に基づく決定的で、効率的かつ信頼性の高いエラー訂正符号を構築すること。
• アレイBP-XORコードとエッジ彩色グラフモデルとの間の正式な同等性を確立し、分野間の知見を可能にすること。
• 符号記号の次数が1および2に制限される条件下で、サポート可能な列数の理論的上限を導出すること。
• 保証された復号性能を有するスケーラブルで低複雑性のLTコードに類似したシステムを設計する基盤を提供すること。

提案手法

• XORベースの符号化と構造化されたパリティ記号を用いて、LTコードの決定的変種としてフラットBP-XORおよびアレイBP-XORコードを提案する。
• 次数1および2の符号記号を用いるアレイBP-XORコードとエッジ彩色グラフモデルとの間の同等性を確立する。
• グラフ理論的結果を用いて、エラー耐性制約下でのこのような符号の存在に必要な条件を導出する。
• 信念伝播復号の原則を適用し、元のデータ断片の効率的かつ正確な回復を保証する。
• データ断片数n₀とブロックサイズmに基づいて列数nを制限する重要な不等式（式1）を導出する。
• アレイ符号の構造的制約とそのグラフ理論的双対物の分析を通じて、理論的発見を検証する。

実験結果

リサーチクエスチョン

• RQ1 最小の冗長性で信頼性の高い復号を保証する決定的LTに類似した符号を構築可能か？
• RQ2 アレイBP-XORコードにおいて、次数1および2の符号記号のみを用いる場合の根本的制限は何か？
• RQ3 アレイBP-XORコードとエッジ彩色グラフとの同等性は、両分野における新たな理論的結果をどのように可能にするか？
• RQ4 t-エラー耐性を満たすアレイBP-XORコードにおいて、次数1および2の符号記号のみを用いる場合、サポート可能な最大列数は何か？
• RQ5 アレイ符号から導出された理論的上限は、特に故障耐性の観点から、エッジ彩色グラフの性質を推論するために利用可能か？

主な発見

• t-エラー耐性を満たす場合、次数1および2の符号記号のみを用いる場合、列数nはn ≤ ((n₀−1)/(n₀−2)) × (n₀ − 2/((n₀−2)m + 1)) で制限され、ここでn₀ = n−tである。
• n₀ ≥ 3の場合、最大列数nはn₀+1に制限され、最小要件を超えてたった1列の冗長性しか可能でないことを示す。
• n₀ = 3およびm ≥ 3の場合、最大列数は5に制限され、低次数符号化下でのスケーラビリティにきびしい上限が存在することを示す。
• アレイBP-XORコードとエッジ彩色グラフとの同等性により、グラフの頑健性に関する新たな結果が導出可能であり、たとえば|C| ≥ 5色のグラフはたかだか1色の故障にしか耐えられないことが示せる。
• 理論的分析により、Caoらが提案した決定的LTコードの総当たり探索アプローチが、特にn₀が小さい場合に成功を保証せず、効率的にスケーリングしないことが確認された。
• 本稿では、アレイBP-XORコードの生成と検証を支援するソフトウェアパッケージを提供しており、実用的導入と検証を可能にしている。