[論文レビュー] A Piggybacking Design Framework for Read-and Download-efficient Distributed Storage Codes

K. V. Rashmi, Nihar B. Shah+1 more|arXiv (Cornell University)|Feb 24, 2013

Advanced Data Storage Technologies参考文献 25被引用数 8

ひとこと要約

本稿では、ノード修復時のデータ読み取り量とダウンロード量を最小限に抑えるために、分散ストレージコードを強化するピッグバックイングフレームワークを提案する。既存のコードの複数のインスタンスを組み合わせ、それらのインスタンス間のデータ関数を巧みに設計することで、データ読み取り量とダウンロード量を最大50%削減可能であり、高レート・小サブストライプ設定における最効率なMDSコード、バイナリMDSコード、および低ローカリティMDSコードの実現を可能にする。

ABSTRACT

We present a new 'piggybacking' framework for designing distributed storage codes that are efficient in data-read and download required during node-repair. We illustrate the power of this framework by constructing classes of explicit codes that entail the smallest data-read and download for repair among all existing solutions for three important settings: (a) codes meeting the constraints of being Maximum-Distance-Separable (MDS), high-rate and having a small number of substripes, arising out of practical considerations for implementation in data centers, (b) binary MDS codes for all parameters where binary MDS codes exist, (c) MDS codes with the smallest repair-locality. In addition, we employ this framework to enable efficient repair of parity nodes in existing codes that were originally constructed to address the repair of only the systematic nodes. The basic idea behind our framework is to take multiple instances of existing codes and add carefully designed functions of the data of one instance to the other. Typical savings in data-read during repair is 25% to 50% depending on the choice of the code parameters.

研究の動機と目的

• 分散ストレージシステムにおけるノード修復時のデータ読み取り量とダウンロード量を最小限に抑えることで、運用コストを削減し、効率を向上させるという、極めて重要なニーズに対応する。
• データセンターアップロードに実用的である、MDS性、高レート、および少数のサブストライプを備えた明示的ストレージコードを設計する。
• 元々システムノードの修復に最適化されていたコードにおいて、システムノードに加えてパリティノードの効率的修復を可能にする。
• すべての実現可能なパラメータに対して、最小のデータ読み取り量とダウンロード量を達成する、最初の明示的バイナリMDSコードを構築する。
• 高いレートと低いストレージオーバーヘッドを維持しつつ、MDSコードにおける最小限の修復ローカリティを達成する。

提案手法

• 既存のベースコード（例：MDSコード）の複数インスタンスを組み合わせ、1つのインスタンスのデータ関数を他のインスタンスのシンボルに追加することで、新しいコードを構築する。
• 線形結合（例：データシンボルの重み付き和）を用いてピッグバックイング関数を設計し、最小距離や運用フィールドを変更せずに効率的な修復を可能にする。
• 既存の再構成可能コードの構造を活用し、システムノードおよび他のパリティノードからのデータをピッグバックイングすることで、パリティノードの効率的修復を可能にする。
• EVENODD、RDP、および修復最適化レジレーティングコードなどの既存コードにこのフレームワークを適用し、パリティ修復の効率を向上させる。
• パリティノードをグループ化（例：サイズ⌊r/√(k+1)⌋の集合に分割）する戦略を用いて、パリティノード全体の平均修復負荷を最適化する。
• 完全ランクの符号化行列を維持し、任意のkノードが完全なメッセージを復元可能であることを確認することで、MDS性を保持する。

実験結果

リサーチクエスチョン

• RQ1 MDS性やバイナリ性を損なわず、ノード修復時のデータ読み取り量とダウンロード量を削減できる一般化されたフレームワークを設計できるか？
• RQ2 体系的な設計アプローチを用いた場合、高レート・小サブストライプMDSコードで得られるデータ読み取り量とダウンロード量の最大削減率はどの程度か？
• RQ3 元々システムノード修復に最適化されていたコードにおいて、パリティノードの効率的修復を可能にすることができるか？
• RQ4 最小距離やフィールドサイズなどのコード特性を保持しつつ、修復負荷を最小限に抑える最適なピッグバックイング関数設計は何か？
• RQ5 このフレームワークを用いて、最小の修復帯域幅とデータ読み取り量を達成する明示的バイナリMDSコードを構築できるか？

主な発見

• ピッグバックイングフレームワークにより、修復時のデータ読み取り量とダウンロード量を最大50%削減可能であり、コードパラメータに応じて25–50%の削減が確認された。
• 高レート・小サブストライプMDSコードにおいて、本フレームワークは、Rotated-RS や EVENODD と比較して、修復に必要な平均データ読み取り量が最小であるコードを構築した。
• 本フレームワークにより、すべての実現可能なパラメータに対して、最小の修復帯域幅とデータ読み取り量を達成する明示的バイナリMDSコードの構築が可能になった。
• 既存のレジレーティングコードにおけるパリティノード修復の平均ダウンロード量と読み取り量は、2kμから約(2k + 2)/3k μに削減され、例として33%の削減が達成された。
• パリティノードをグループ化し、各グループごとにピッグバックイングを適用することで、パリティノードの平均修復負荷は、1メッセージ単位あたり(1/2) + (k + (r/g - 1)²)/(2k(r/g))に低下する。ここでg = ⌊r/√(k+1)⌋である。
• ピッグバックイングによってMDS性および有限体の運用が保持され、任意のkノードからデータが復元可能であり、既存システムとの互換性が保たれる。