[論文レビュー] Self-repairing Homomorphic Codes for Distributed Storage Systems

Frédérique Oggier, Anwitaman Datta|arXiv (Cornell University)|Jul 31, 2010

Advanced Data Storage Technologies参考文献 6被引用数 9

ひとこと要約

この論文は、分散ストレージ向けの新しいエラー訂正符号である自己修復型ホモモーフィック符号（SRCs）を導入する。SRCs は、特定の断片が失われた場合でも、固定された数の他の符号化断片のみを用いて、直接的かつ低帯域幅で断片を修復可能である。主な貢献は、通信量の最小限の増加で並列かつ独立した修復を可能にし、従来のエラー訂正符号やハイブリッド戦略と比較して、遅延と帯域幅の使用を顕著に低減することである。

ABSTRACT

Erasure codes provide a storage efficient alternative to replication based redundancy in (networked) storage systems. They however entail high communication overhead for maintenance, when some of the encoded fragments are lost and need to be replenished. Such overheads arise from the fundamental need to recreate (or keep separately) first a copy of the whole object before any individual encoded fragment can be generated and replenished. There has been recently intense interest to explore alternatives, most prominent ones being regenerating codes (RGC) and hierarchical codes (HC). We propose as an alternative a new family of codes to improve the maintenance process, which we call self-repairing codes (SRC), with the following salient features: (a) encoded fragments can be repaired directly from other subsets of encoded fragments without having to reconstruct first the original data, ensuring that (b) a fragment is repaired from a fixed number of encoded fragments, the number depending only on how many encoded blocks are missing and independent of which specific blocks are missing. These properties allow for not only low communication overhead to recreate a missing fragment, but also independent reconstruction of different missing fragments in parallel, possibly in different parts of the network. We analyze the static resilience of SRCs with respect to traditional erasure codes, and observe that SRCs incur marginally larger storage overhead in order to achieve the aforementioned properties. The salient SRC properties naturally translate to low communication overheads for reconstruction of lost fragments, and allow reconstruction with lower latency by facilitating repairs in parallel. These desirable properties make self-repairing codes a good and practical candidate for networked distributed storage systems.

研究の動機と目的

• エラー訂正符号を用いた分散ストレージシステムの冗長性維持に伴う高い通信量を低減すること。
• 従来のエラー訂正符号では、1つの断片を修復する前に完全なオブジェクトを再構築する必要があるという制限を克服すること。
• どの断片が失われても、固定された数の他の断片から直接的に欠落した断片を修復できる符号化方式を設計すること。
• ネットワークの異なる部分で並列かつ独立した修復を可能にし、修復の遅延を低減すること。
• 修復効率の大幅な向上を実現するため、従来のエラー訂正符号と比較してわずかに増加するストレージオーバーヘッドと、ストレージ効率をバランスさせる。

提案手法

• ホモモーフィック性を活用し、他の符号化断片の部分集合から直接断片を再構築できる、自己修復符号（SRCs）と呼ばれる新しい符号族を提案する。
• どの断片が失われても、正確に2つの他の符号化断片から欠落した断片を再構築できるように符号化方式を設計する。
• 修復プロセスが対称的であることを保証する：すべての符号化断片が同等の役割を果たし、特定の断片の識別子に依存しないようにする。
• 有限体に基づく構造的な代数的構成を用い、断片の線形結合が欠落した断片を生成するホモモーフィック再構築を可能にする。
• 有限体上の線形方程式系として修復プロセスを定式化し、任意の欠落した断片が、任意の有効な2つの生存断片から回復可能であることを保証する。
• ネットワーク符号化の原則を統合し、修復操作中の帯域幅使用量を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 特定の断片が失われても、固定された数の他の断片から直接的に欠落した断片を修復できるような符号化方式を設計可能か？
• RQ2 複数のノード間で並列かつ独立した修復を実現するには、どのようにすれば全体の修復遅延を低減できるか？
• RQ3 従来のエラー訂正符号と比較して、このような符号化方式におけるストレージオーバーヘッドとメンテナンス効率のトレードオフは何か？
• RQ4 実際のネットワークストレージ環境において、提案された符号はハイブリッドレプリケーションやラージレパリケーション戦略よりも低い通信量を達成できるか？
• RQ5 符号のホモモーフィック構造は、完全なオブジェクト再構築を必要とせずに、効率的かつスケーラブルな修復をどのように可能にするか？

主な発見

• SRCs は、どの断片が失われても、他の2つの符号化断片のみを用いて直接的に修復可能であり、修復の複雑さが一貫的かつ予測可能である。
• 7つの断片が失われた状況では、SRCs では2時間のうちに6つの断片を再構築できたが、完全なレプリカでは7時間、従来のエラー訂正符号では9時間かかっていた。
• 修復プロセスは並列実行をサポートしており、複数の欠落した断片が異なるノードから同時に再構築可能であり、全体の遅延が低減される。
• 完全なオブジェクト再構築を回避することで、SRCs は通信量の低い帯域幅を実現し、ナーブなエラー訂正符号の修復戦略と比較して帯域幅使用量を削減する。
• 例では、ハイブリッドレプリケーション（7つの修復に7時間）や従来のエラー訂正符号（少なくとも9時間）よりも、SRCs はより速い修復を達成している。
• 従来のエラー訂正符号と比較してわずかに増加するストレージオーバーヘッドは、修復効率の大幅な向上によって相殺され、大規模な分散ストレージにおいて実用的な代替手段となる。