[論文レビュー] A Solution to the Network Challenges of Data Recovery in Erasure-coded Distributed Storage Systems: A Study on the Facebook Warehouse Cluster

K. V. Rashmi, Nihar B. Shah+4 more|arXiv (Cornell University)|Sep 1, 2013

Advanced Data Storage Technologies被引用数 192

ひとこと要約

この論文では、ピッグギーバックフレームワークを用いて構築された新規のエラー訂正符号、Piggybacked-RSを提案する。この符号は、分散ストレージシステムにおけるデータ復旧時におけるネットワークおよびディスクI/Oを30%削減する。Facebookの本番環境のウェアハウスクラスタで評価された結果、クロスラックトラフィックが1日あたり約50TB削減された。また、ストレージ最適性を維持し、任意のパrameterをサポートする。

ABSTRACT

Erasure codes, such as Reed-Solomon (RS) codes, are being increasingly employed in data centers to combat the cost of reliably storing large amounts of data. Although these codes provide optimal storage efficiency, they require significantly high network and disk usage during recovery of missing data. In this paper, we first present a study on the impact of recovery operations of erasure-coded data on the data-center network, based on measurements from Facebook's warehouse cluster in production. To the best of our knowledge, this is the first study of its kind available in the literature. Our study reveals that recovery of RS-coded data results in a significant increase in network traffic, more than a hundred terabytes per day, in a cluster storing multiple petabytes of RS-coded data. To address this issue, we present a new storage code using our recently proposed "Piggybacking" framework, that reduces the network and disk usage during recovery by 30% in theory, while also being storage optimal and supporting arbitrary design parameters. The implementation of the proposed code in the Hadoop Distributed File System (HDFS) is underway. We use the measurements from the warehouse cluster to show that the proposed code would lead to a reduction of close to fifty terabytes of cross-rack traffic per day.

研究の動機と目的

• 大規模データセンタにおけるエラー訂正符号の復旧がネットワークインfraに与える実世界の影響を分析すること。
• 本番システムにおけるリード・ソロモン符号化データの復旧時に発生する高いネットワークおよびディスク帯域幅消費を解決すること。
• ストレージ効率性や耐障害性を損なわず、復旧帯域幅を低減するストレージ符号を設計すること。
• Facebookのウェアハウスクラスタからの実測データを用いて、提案コードの性能を評価すること。

提案手法

• 著者らはピッグギーバックフレームワークを用いてリード・ソロモン符号を変更し、複数のストライプからの符号化データをパリティシンボルに組み込むことで、復旧帯域幅を低減する。
• 新規コードであるPiggybacked-RSは、標準のRS符号が要請するデータの70%しかダウンロードしなくても、欠落したブロックを復旧可能である。
• この設計は任意のパrameter（k, r）をサポートし、ストレージ最適性および最大距離分離（MDS）特性を保証する。
• 本手法は、Facebookのウェアハウスクラスタからの実世界の測定データを用いて評価され、クロスラックトラフィックの顕著な削減が確認された。
• 理論的分析により、任意の（k, r）RS符号に対して、復旧時におけるネットワークおよびディスク使用量が30%削減されることを確認した。
• HDFSへの実装が進行中であり、スケールでの性能検証を実施中である。

実験結果

リサーチクエスチョン

• RQ1 大規模な本番クラスタにおけるエラー訂正符号の復旧によって、1日あたりどの程度のクロスラックネットワークトラフィックが発生するか？
• RQ2 ストレージオーバーヘッドを増加させず、耐障害性を低下させずに、復旧帯域幅をどの程度まで低減できるか？
• RQ3 より多くのノードに接続するが、各ノードからのデータダウンロード量を減らすコード設計は、全体の復旧時間およびネットワークリソース負荷を低減できるか？
• RQ4 Piggybacked-RSコードは、LRCや再生コードといった既存のコードと比較して、帯域幅効率性およびストレージオーバーヘッドの点でどの程度優れているか？
• RQ5 このようなコードを本番データセンタ環境に導入した場合の実世界への影響は何か？

主な発見

• Facebookのウェアハウスクラスタにおけるエラー訂正符号のデータ復旧は、1日あたり100TBを超えるクロスラックネットワークトラフィックを発生させている。
• 提案されたPiggybacked-RSコードにより、このトラフィックが1日あたり約50TB削減され、ネットワークおよびディスク使用量が30%削減された。
• このコードはストレージ最適性およびMDS特性を維持しており、標準のRSコードと同等の追加ストレージを必要としない。
• トータルに転送されるデータ量が減少するため、復旧時間が短縮されると予想される。ただし、接触するノード数は増加している。
• このコードは、過去のコード（例：Rotated-RS や LRC）とは異なり、任意の（k, r）パラメータをサポートする。
• 予備実験の結果、ノード接続性が向上しても復旧時間が延長されないことが判明した。これは、帯域幅が主なボトルネックであるためである。