[論文レビュー] Optimal Repair Layering for Erasure-Coded Data Centers: From Theory to Practice

Yuchong Hu, Xiaolu Li+5 more|arXiv (Cornell University)|Apr 12, 2017

Advanced Data Storage Technologies参考文献 53被引用数 11

ひとこと要約

本稿では、階層的ブロック配置と2種類の二重再生コード（DRC）を用いることで、クロスレッグ修復トラフィックを最小限に抑える実用的な修復レイヤー化フレームワーク、DoubleRを提案する。HDFSへの導入において、最新の再生コードと比較して、ノード回復性能と劣化リード性能が向上し、理論的最適なクロスレッグ修復トラフィックを達成する。

ABSTRACT

Repair performance in hierarchical data centers is often bottlenecked by cross-rack network transfer. Recent theoretical results show that the cross-rack repair traffic can be minimized through repair layering, whose idea is to partition a repair operation into inner-rack and cross-rack layers. However, how repair layering should be implemented and deployed in practice remains an open issue. In this paper, we address this issue by proposing a practical repair layering framework called DoubleR. We design two families of practical double regenerating codes (DRC), which not only minimize the cross-rack repair traffic, but also have several practical properties that improve state-of-the-art regenerating codes. We implement and deploy DoubleR atop Hadoop Distributed File System (HDFS), and show that DoubleR maintains the theoretical guarantees of DRC and improves the repair performance of regenerating codes in both node recovery and degraded read operations.

研究の動機と目的

• 階層的データセンターにおけるクロスレッグネットワーク帯域幅のボトルネックを軽減するため、クロスレッグ修復トラフィックを最小限に抑えること。
• 理論的修復レイヤー化と実用的導入の間のギャップを埋めること。
• 理論的クロスレッグ修復最適性を維持しながら、実世界での導入を可能にする実用的な二重再生コード（DRC）を設計すること。
• DRCのパフォーマンスを実HDFS環境で評価し、ノード回復と劣化リード動作に注目すること。
• 最小化されたクロスレッグトラフィックと低下したラックレベルの耐障害性の間のトレードオフを分析すること。

提案手法

• 制限されたクロスレッグ帯域幅への依存を減らすために、修復をインナーレッグおよびクロスレッグフェーズに分割する修復レイヤー化を導入する。
• 複数のストライプブロックを1ラックごとに格納する階層的ブロック配置を提案する。これにより、ラック内でのローカル部分的修復が可能になる。
• 最小限のクロスレッグ修復トラフィックを達成しながら、MDS性および修復最適性を保持する2種類のDRCの族を設計する。
• 2段階の修復プロセスを採用する：各ラック内でローカルブロックを用いて部分的修復を行い、その後、部分結果を宛先ノードへクロスレッグで転送する。
• 実世界のパフォーマンス評価と理論的保証の妥当性を検証するため、Hadoop Distributed File System (HDFS) にDoubleRを実装する。
• 数値的および信頼性分析を用いて、ラック障害耐性の低下とクロスレッグトラフィックの最小化のトレードオフを定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 修復レイヤー化は、既存の再生コードと比較して、階層的データセンターにおけるクロスレッグ修復トラフィックを顕著に削減できるか？
• RQ2 階層的エラー訂正コードにおいて、最小化されたクロスレッグ修復トラフィックと低下したラックレベルの耐障害性の間のトレードオフは何か？
• RQ3 理論的クロスレッグ修復最適性を達成しながら、効率的な実装を可能にする実用的な二重再生コード（DRC）を構築できるか？
• RQ4 DoubleRは、実HDFS環境においてノード回復スループットと劣化リード時間の観点で、どのように性能を発揮するか？
• RQ5 どのようなネットワーク帯域幅条件下で、DRCは従来の再生コードおよびRSコードを上回るか？

主な発見

• DoubleRは、修復レイヤー化とDRC構成により、理論的最小限のクロスレッグ修復トラフィックを達成する。
• HDFSにおけるプロトタイプ実装の結果、DoubleRは最新の再生コードと比較してノード回復スループットを向上させ、劣化リード時間を短縮した。
• DRCの族1は、最小限のクロスレッグ修復トラフィックを達成するためにディスクからn−1個のブロックを読み込む必要があるが、これはMSRコードの効率性と一致する。
• DRCの総修復トラフィック（インナーレッグおよびクロスレッグを含む）はMSRコードより高いが、クロスレッグ成分が最小化されており、クロスレッグ帯域幅制限下では最適である。
• クロスレッグ帯域幅が十分に確保されている場合（例：2 Gb/sゲートウェイ）、DRCの修復利点は薄れる。これは、DRCの利点が主に帯域幅制限下で顕著であることを確認する。
• 信頼性分析により、ラック障害がまれな場合には、ラックレベルの耐障害性の低下は許容可能であることが確認され、修復パフォーマンスの向上とのトレードオフは正当化される。