[論文レビュー] Repair Pipelining for Erasure-Coded Storage: Algorithms and Evaluation

Xiaolu Li, Zuoru Yang+5 more|arXiv (Cornell University)|Aug 5, 2019

Advanced Data Storage Technologies被引用数 4

ひとこと要約

本論文では、スライス単位のパイプライン処理を用いて、単一ブロックのエラー訂正コード化ストレージの修復時間を通常の読み取りとほぼ同等にまで短縮する修理パイプライン化という技術を提案する。この手法は、非均質的で階層的かつマルチブロック修復のシナリオにおいてもほぼ最適に近い修復性能を達成し、HDFSおよびQFSにおける評価で顕著な高速化が確認された。

ABSTRACT

We propose repair pipelining, a technique that speeds up the repair performance in general erasure-coded storage. By carefully scheduling the repair of failed data in small-size units across storage nodes in a pipelined manner, repair pipelining reduces the single-block repair time to approximately the same as the normal read time for a single block in homogeneous environments. We further design different extensions of repair pipelining algorithms for heterogeneous environments and multi-block repair operations. We implement a repair pipelining prototype, called ECPipe, and integrate it as a middleware system into two versions of Hadoop Distributed File System (HDFS) (namely HDFS-RAID and HDFS-3) as well as Quantcast File System (QFS). Experiments on a local testbed and Amazon EC2 show that repair pipelining significantly improves the performance of degraded reads and full-node recovery over existing repair techniques.

研究の動機と目的

• エラー訂正コード化ストレージにおける高い修復ペナルティを解消し、その使用を冷たいデータに限定するのを防ぐ。
• 単一ブロック修復が通常の読み取りよりも遅くなる原因となる過剰なデータ読み取りと帯域幅消費のボトルネックを克服する。
• 修復時間を通常の読み取り性能にまで短縮することで、ホットデータに対してもエラー訂正コード化を可能にし、アクセス速度を犠牲にせずにストレージ効率を向上させる。
• 非均質環境、階層的データセンター、マルチブロック修復操作をサポートするように修理パイプライン化を拡張する。
• HDFS や QFS といった既存の分散ストレージシステムに統合可能な実用的なミドルウェアシステム（ECPipe）を設計・実装する。

提案手法

• 各ブロックを小さなサイズのスライスに分解し、複数のストレージノードにわたる細粒度のパイプライン修復を可能にする。
• ワームホールルーティングに類似したパイプラインでスライスの修復をスケジューリングし、ノード間の帯域幅使用をバランスさせ、ノードの無駄な待機時間を最小限に抑える。
• 並列読み取りと重み付きパス選択を適用し、異なるリンク帯域幅を持つ非均質環境における修復を最適化する。
• HDFS-RAID、HDFS-3、QFS に、ECPipe と呼ばれるミドルウェアプロトタイプを統合し、後方互換性を確保する。
• リード・ソロモンコードやローカル再構築コードを含むさまざまなエラー訂正コードをサポートし、広範な適用性を確保する。
• 並列処理と階層的トポロジー認識機能を活用して、フルノード回復およびマルチブロック修復に対応する。

実験結果

リサーチクエスチョン

• RQ1 修理パイプライン化は、単一ブロックのエラー訂正コード化ストレージにおいて、単一ブロックの通常の読み取り時間とほぼ同等の単一ブロック修復時間を実現できるか？
• RQ2 異なるノード間のネットワーク帯域幅を有する非均質環境において、修理パイプライン化をどのように拡張できるか？
• RQ3 修理パイプライン化は、階層的データセンタートポロジーに効果的に適用可能か？特に、ラック間の修復トラフィックを最小限に抑えつつ、修復遅延を低減できるか？
• RQ4 複数ブロックが同時に障害した場合のマルチブロック修復シナリオにおいて、修理パイプライン化の性能はどの程度か？
• RQ5 HDFS や QFS といった本番環境のシステムに統合された場合、修理パイプライン化の実際のパフォーマンス向上はどの程度か？

主な発見

• 修理パイプライン化は、均質的環境において単一ブロック修復時間を、単一ブロックの通常の読み取り時間とほぼ同等にまで短縮した。
• この手法は劣化読み取り性能において顕著な高速化を達成し、従来の修復手法と比較して最大70％の修復遅延削減を実現した。
• Amazon EC2 実験では、修理パイプライン化が標準的なエラー訂正コード化修復と比較して、フルノード回復で最大5.2倍の高速化を達成した。
• ECPipe プロトタイプは HDFS-RAID および HDFS-3 に正常に統合され、低オーバーヘッドと既存システムとのシームレスな互換性を示した。
• 階層的トポロジーにおいても、ラック間の修復トラフィックを最小限に抑えつつ、修復時間をさらに短縮し、従来のトポロジー認識手法（CAR や LAR）を上回る性能を発揮した。
• 評価から、修理パイプライン化により、従来は修復遅延のため冷たいデータに限定されていたエラー訂正コード化をホットデータにも適用可能になったことが明らかになった。