[論文レビュー] XORing Elephants: Novel Erasure Codes for Big Data

Maheswaran Sathiamoorthy, Megasthenis Asteris+5 more|arXiv (Cornell University)|Jan 16, 2013

Advanced Data Storage Technologies参考文献 21被引用数 105

ひとこと要約

この論文は、分散ストレージにおける消去符号のための局所的修復可能コード（LRC）を導入し、再構築に必要なディスクI/Oとネットワークトラフィックをレーリー・ソロモン符号と比較して約2倍削減する。これにより、14%のストレージ増加を犠牲にしても、この再構築効率に関して情報理論的に最適な性能を達成する。この手法は一般化リード・ソロモンパリティに従属するパリティを組み合わせることで、効率的かつ局所的な修復を可能にしながら、高い耐障害性を維持する。

ABSTRACT

Distributed storage systems for large clusters typically use replication to provide reliability. Recently, erasure codes have been used to reduce the large storage overhead of three-replicated systems. Reed-Solomon codes are the standard design choice and their high repair cost is often considered an unavoidable price to pay for high storage efficiency and high reliability. This paper shows how to overcome this limitation. We present a novel family of erasure codes that are efficiently repairable and offer higher reliability compared to Reed-Solomon codes. We show analytically that our codes are optimal on a recently identified tradeoff between locality and minimum distance. We implement our new codes in Hadoop HDFS and compare to a currently deployed HDFS module that uses Reed-Solomon codes. Our modified HDFS implementation shows a reduction of approximately 2x on the repair disk I/O and repair network traffic. The disadvantage of the new coding scheme is that it requires 14% more storage compared to Reed-Solomon codes, an overhead shown to be information theoretically optimal to obtain locality. Because the new codes repair failures faster, this provides higher reliability, which is orders of magnitude higher compared to replication.

研究の動機と目的

• HDFSのような大規模分散ストレージシステムにおけるレーリー・ソロモン消去符号の高い修復コストを解消すること。
• ノード障害回復時のディスクI/Oとネットワークトラフィックを最小限に抑えつつ、高い信頼性を維持する消去符号の設計。
• 単一ブロックの障害修復に必要なブロック数という局所性に関して、情報理論的に最適な性能を達成すること。
• 実際のクラスタで利用可能なHDFSモジュール（HDFS-Xorbas）を実装・評価し、レーリー・ソロモン符号をLRCに置き換える。
• 高速な修復が、有意に高いデータ可用性と低い平均データ損失時間（MTTDL）をもたらすことを実証すること。

提案手法

• 局所性に関して情報理論的に最適な、新しい種類の局所的修復可能コード（LRC）を提案。単一障害の修復に必要なブロック数を最小化する。
• 一般化リード・ソロモン符号をグローバルパリティとして用い、ストレージオーバーヘッドを低減しながらも修復効率を維持するための「暗黙のパリティ」を導入。
• データをストライプにグループ化するハイブリッド符号構造を採用。ローカルパリティグループにより、少数のブロックでのみ修復が可能であり、グローバルパリティにより全体としてMDSに類似した耐障害性を確保。
• HDFS（10,4）を（10,6,5）LRCに置き換える実用的で生産環境対応のHDFSモジュール「HDFS-Xorbas」を設計・実装。
• マーカフモデルを用いてデータ可用性とMTTDLを評価。レーリー・ソロモン符号および3重レプリケーションと比較して顕著な改善を示した。
• Amazon EC2および3000ノードのFacebook生産クラスタを用いた実験的評価により、実世界の再構築I/Oとネットワークトラフィックを測定。

実験結果

リサーチクエスチョン

• RQ1 高耐障害性とストレージ効率を維持しつつ、最適な局所性を達成するように消去符号を設計することは可能か？
• RQ2 実用的限界を超えないストレージオーバーヘッドで、分散ストレージシステムの修復ディスクI/Oとネットワークトラフィックを低減することは可能か？
• RQ3 実世界のHDFS展開において、LRCの修復性能はレーリー・ソロモン符号と比べてどの程度か？
• RQ4 高速な修復がデータ可用性および平均データ損失時間（MTTDL）に与える影響は何か？
• RQ5 Hadoop HDFSのような大規模システムに、既存インfraに最小限の変更でLRCを実用的に導入可能か？

主な発見

• 実世界の展開において、LRCベースのHDFS-Xorbasモジュールは、レーリー・ソロモン（10,4）符号と比較して、再構築ディスクI/Oとネットワークトラフィックを約2倍削減した。
• LRC構成は、レーリー・ソロモン符号と比較して14%のストレージ増加を要するが、これは観察されたレベルの局所性を達成するための情報理論的最適解である。
• マーカフモデルに基づく評価では、新規コードはレーリー・ソロモン（10,4）と比較してMTTDLに2桁のゼロが追加され、3重レプリケーションと比較して5桁のゼロが追加され、はるかに高い信頼性を示した。
• 局所的修復によりLRCの修復プロセスははるかに高速であるため、劣化読み取り性能が向上し、システムの可用性も向上した。
• 提案されたコードは、先行研究で確立された理論的限界に一致しており、非線形およびベクターライナー符号に対しても最適であることが示された。
• 実装により、一般化リード・ソロモンパリティに従属するパリティ構造を用いることで、最小限のオーバーヘッドで効率的な修復が可能な実用的で高性能な消去符号を構築できることが実証された。