[論文レビュー] Homomorphic Self-repairing Codes for Agile Maintenance of Distributed Storage Systems

Frédérique Oggier, Anwitaman Datta|arXiv (Cornell University)|Jul 15, 2011

Advanced Data Storage Technologies参考文献 8被引用数 11

ひとこと要約

この論文は、分散ストレージシステムにおける保守帯域幅の最小化と、損失したデータ断片の高速かつ並列修復を可能にする、新たなエラー訂正符号の族である同型自己修復符号（HSRC）を紹介する。従来のエラー訂正符号とは異なり、単一の断片を修復するには、元のオブジェクトを再構築する必要があるが、HSRCでは、どのブロックが欠落しても、固定数の他の符号化断片を使用して、元のオブジェクトサイズ未満のデータ量のみをダウンロードすることで、任意の欠落した断片を修復できる。

ABSTRACT

Distributed data storage systems are essential to deal with the need to store massive volumes of data. In order to make such a system fault-tolerant, some form of redundancy becomes crucial, incurring various overheads - most prominently in terms of storage space and maintenance bandwidth requirements. Erasure codes, originally designed for communication over lossy channels, provide a storage efficient alternative to replication based redundancy, however entailing high communication overhead for maintenance, when some of the encoded fragments need to be replenished in news ones after failure of some storage devices. We propose as an alternative a new family of erasure codes called self-repairing codes (SRC) taking into account the peculiarities of distributed storage systems, specifically the maintenance process. SRC has the following salient features: (a) encoded fragments can be repaired directly from other subsets of encoded fragments by downloading less data than the size of the complete object, ensuring that (b) a fragment is repaired from a fixed number of encoded fragments, the number depending only on how many encoded blocks are missing and independent of which specific blocks are missing. This paper lays the foundations by defining the novel self-repairing codes, elaborating why the defined characteristics are desirable for distributed storage systems. Then homomorphic self-repairing codes (HSRC) are proposed as a concrete instance, whose various aspects and properties are studied and compared - quantitatively or qualitatively with respect to other codes including traditional erasure codes as well as other recent codes designed specifically for storage applications.

研究の動機と目的

• 分散ストレージで使用される従来のエラー訂正符号における高い保守帯域幅のオーバーヘッドに対処すること。特に、単一の断片を修復するには、元のオブジェクトを再構築するためにk個の断片を取得する必要があること。
• ストレージ非効率性とシステムの複雑さを増加させるレプリケーションベースのハイブリッド戦略の限界を克服すること。
• ネットワーク化されたストレージシステムに特化した、新たなエラー訂正符号のクラスである自己修復符号（SRC）を設計すること。これにより、効率的でスケーラブルかつ安全なデータ修復を実現する。
• 修復操作が帯域幅効率が良く、並列化可能であり、どの特定のブロックが欠落しているかに依存しないようにすること。
• ストレージ効率と修復効率のトレードオフを調査し、ストレージのわずかな増加が、修復パフォーマンスとシステムのレジリエンスに顕著な向上をもたらすことを示すこと。

提案手法

• 自己修復符号（SRC）を、欠落した符号化断片が、欠落したブロックの識別子に依存せず、固定数の他の符号化断片から修復可能である線形符号として定義する。
• 有限体上の代数的構造を活用して、線形結合による効率的な修復を可能にする、具体的な構成である同型自己修復符号（HSRC）を提案する。
• 修復操作が元のデータを再構築せずに符号化断片の上ですでに行えるという同型性の性質を活用し、通信コストを削減する。
• 修復帯域幅が、元のオブジェクトのサイズ未満であることを保証する。特に、単一の断片を修復する場合でも同様。
• 有限体上の一次方程式系を用いて修復プロセスを形式化する。各符号化断片はベクトル空間内のベクトルであり、修復は生存している断片の線形結合によって達成される。
• HSRCは、k個の断片（必ずしもシステマティックではないが）を特別な集合として選択することで、効率的に復号可能であることを示す。元のデータを再構築できる。また、欠落している断片は、まずそれらを修復できる。

実験結果

リサーチクエスチョン

• RQ1 分散ストレージシステムにおいて、保守帯域幅を最小限に抑えつつも耐障害性を維持する新たなエラー訂正符号の設計は可能か？
• RQ2 どの断片が欠落しても、元のオブジェクトのサイズ未満のデータ量をダウンロードすることで、単一の欠落した符号化断片を修復することは可能か？
• RQ3 修復操作を欠落したブロックの識別子に依存させず、予測可能でスケーラブルな保守を実現するにはどうすればよいか？
• RQ4 従来のエラー訂正符号やハイブリッドレプリケーション方式と比較して、このような符号におけるストレージオーバーヘッドと修復帯域幅効率のトレードオフは何か？
• RQ5 HSRCのような非システマティックな符号は、信頼できないストレージ環境において、セキュリティとパフォーマンスの実用的なバランスを提供できるか？

主な発見

• HSRCでは、元のオブジェクトサイズ未満のデータ量をダウンロードすることで、任意の欠落した断片を修復可能であり、従来のエラー訂正符号と比較して顕著な帯域幅の節約が達成される。
• HSRCにおける単一断片の修復には、データのわずか一部（正確には、元のオブジェクトサイズ未満）をダウンロードするだけでよい。10ノードのシステムでは、修復に7時間単位を要したのに対し、従来方式では9時間単位を要した。
• HSRCは、複数の欠落した断片を並列かつ独立して修復可能であり、システムの回復を高速化し、保守時のネットワーク混雑を軽減する。
• 修復プロセスは強固で柔軟である。どの特定のブロックが欠落しているかに依存せず、欠落数にのみ依存する。これにより、システム設計と負荷分散の簡素化が可能になる。
• HSRCはシステマティックではない。つまり、個々の符号化断片が元のデータの情報を直接示さないため、しきい値暗号技術に類似した情報理論的セキュリティを提供する。
• システマティック構造がないにもかかわらず、k個の断片の集合を選び、それがシステマティックに近いか、事前に修復経路を計算することで、効率的な復号が可能であり、非システマティック符号化に伴うパフォーマンスコストを緩和できる。