[論文レビュー] An Empirical Study of the Repair Performance of Novel Coding Schemes for Networked Distributed Storage Systems

Lluís Pàmies-Juàrez, Frédérique Oggier+1 more|arXiv (Cornell University)|Jun 11, 2012

Advanced Data Storage Technologies参考文献 20被引用数 6

ひとこと要約

本論文は、実際の分散ストレージ環境における新規消去符号化方式—再生符号（RGC）、協調的再生符号（CRGC）、自己修復符号（SRC）—の実験的評価を実施している。ネットワーク混雑下でもパイプライン化されたSRC（SRCp）が、RGC/CRGCよりわずかに高い帯域幅使用量を示すものの、修理速度において顕著に優れていることが示され、実世界への導入において最も実用的であることが明らかになった。

ABSTRACT

Erasure coding techniques are getting integrated in networked distributed storage systems as a way to provide fault-tolerance at the cost of less storage overhead than traditional replication. Redundancy is maintained over time through repair mechanisms, which may entail large network resource overheads. In recent years, several novel codes tailor-made for distributed storage have been proposed to optimize storage overhead and repair, such as Regenerating Codes that minimize the per repair traffic, or Self-Repairing Codes which minimize the number of nodes contacted per repair. Existing studies of these coding techniques are however predominantly theoretical, under the simplifying assumption that only one object is stored. They ignore many practical issues that real systems must address, such as data placement, de/correlation of multiple stored objects, or the competition for limited network resources when multiple objects are repaired simultaneously. This paper empirically studies the repair performance of these novel storage centric codes with respect to classical erasure codes by simulating realistic scenarios and exploring the interplay of code parameters, failure characteristics and data placement with respect to the trade-offs of bandwidth usage and speed of repairs.

研究の動機と目的

• 理論的仮定を越えて、新規符号化方式（RGC、CRGC、SRC）の実世界における修理性能を評価すること。
• データ配置、障害パターン、ネットワーク競合が、複数対象・複数障害のシナリオにおける修理効率に与える影響を調査すること。
• 実際のシステム制約下で、古典的消去符号、RGC/CRGC、SRC/SRCpの間で帯域幅使用量と修理遅延を比較すること。
• ノード過負荷とランダムな修理スケジューリングの修理性能への影響を評価すること。
• 実環境において帯域幅効率と修理速度の最良なトレードオフを実現する符号化方式を特定すること。

提案手法

• L=10,000個のオブジェクト、N=1,000ノード、1オブジェクトあたりB=1 GBという設定可能なパラメータを用いて、複数のオブジェクトを格納し、動的ノード障害を再現する実際の分散ストレージワークロードをシミュレートした。
• 障害確率（Θ）を変化させ、単一障害および複数同時障害の両方の状況で修理性能を評価した。
• 古典的消去符号、RGC（d ≥ kを満たす）、CRGC（協調的修理をサポート）、SRC/SRCp（d=2のパイプライン修理）という4つの符号化方式を実装し、比較した。
• CDFと性能指標を用いて、ネットワークトラフィック、ノードごとのアップロード量、フラグメントの修理時間を、さまざまなデータ配置戦略で測定した。
• データクラスタリングとランダムなノード選択が、修理遅延と帯域幅配分に与える影響を評価した。
• ノードが複数のオブジェクトを格納する現実的なモデルを採用し、並列での修理プロセスやネットワークボトルネックの可能性を考慮した。

実験結果

リサーチクエスチョン

• RQ1 複数の同時障害と共有ネットワークリソースを有する実際の分散ストレージシステムにおいて、RGC、CRGC、SRCといった新規符号化方式はどのように動作するか？
• RQ2 特にクラスタリング済み vs ランダムな配置の違いが、修理遅延とネットワーク混雑に与える影響は何か？
• RQ3 ネットワーク飽和（障害確率Θの増加）が、さまざまな符号化方式の修理性能に与える影響は何か？
• RQ4 パイプライン化されたSRC（SRCp）は、高度なスケジューリングが不要な状況下でも、標準的なSRCやRGCよりも速い修理時間を達成できるか？
• RQ5 複数障害シナリオにおいて、オブジェクト再構築（古典的EC）が再生修理よりも通信効率が良いのはどのような条件下か？

主な発見

• 単一ノード障害の場合は、d ≥ k を満たすRGCが修理トラフィックを最も大幅に削減するが、SRC/SRCpはわずかに帯域幅の削減が少ないものの、古典的消去符号に比べて著しく優れた修理速度を示す。
• SRCpは、すべてのシナリオにおいて修理時間で他すべての方式を上回り、特にネットワーク過負荷下でも、d=2の低修理次数とパイプライン修理メカニズムのおかげで優れた性能を発揮する。
• 複数障害のシナリオでは、d-サブセットの選択に柔軟性を持つことから、CRGCがSRCpよりも優れたトラフィック分布を達成し、よりバランスの取れたアップロード負荷と混雑の低減を実現する。
• 高い障害確率（例：Θ=0.5）では、修理時間の短縮は、修理不能なフラグメントによるネットワーク利用度の低下のおかげであり、性能の向上によるものではない。
• 同時に発生する障害数が非常に多い場合には、オブジェクト全体を再構築し、フラグメントを再生する（古典的EC）方式が、再生修理よりも帯域幅効率が高くなる。これは、従来の理論的予測を裏付けるものである。
• データが極端にクラスタリングされていると修理時間が著しく延び、データの信頼性が損なわれるが、データの細粒度には修理性能に顕著な影響がない。