[論文レビュー] Analysis and Construction of Functional Regenerating Codes with Uncoded Repair for Distributed Storage Systems

Yuchong Hu, Patrick P. C. Lee+1 more|arXiv (Cornell University)|Aug 14, 2012

Advanced Data Storage Technologies参考文献 20被引用数 5

ひとこと要約

本論文は、符号化を必要としない生存ノードにおける最小限の修復帯域幅とディスク読み取りを実現する、符号化されていない修復を伴う機能的最小ストレージレグレーティング（FMSR）コードの存在を形式的証明する。また、大規模システムですら0.5秒未塔の修復チェック時間にまで短縮する決定的構成法を提示し、ランダムFMSRコード手法を著しく上回る性能を示す。

ABSTRACT

Modern distributed storage systems apply redundancy coding techniques to stored data. One form of redundancy is based on regenerating codes, which can minimize the repair bandwidth, i.e., the amount of data transferred when repairing a failed storage node. Existing regenerating codes mainly require surviving storage nodes encode data during repair. In this paper, we study functional minimum storage regenerating (FMSR) codes, which enable uncoded repair without the encoding requirement in surviving nodes, while preserving the minimum repair bandwidth guarantees and also minimizing disk reads. Under double-fault tolerance settings, we formally prove the existence of FMSR codes, and provide a deterministic FMSR code construction that can significantly speed up the repair process. We further implement and evaluate our deterministic FMSR codes to show the benefits. Our work is built atop a practical cloud storage system that implements FMSR codes, and we provide theoretical validation to justify the practicality of FMSR codes.

研究の動機と目的

• 分散ストレージシステムにおける、符号化されていない修復を伴う機能的最小ストレージレグレーティング（FMSR）コードの実用的妥当性を理論的に検証すること。
• FMSRコードが複数回の修復ラウンドにわたりMDS障害耐性を保持できるかどうかという未解決問題に取り組むこと。
• ランダムな探索のオーバーヘッドを回避する、決定的FMSRコード構成法を設計すること。
• 実世界の環境において、ランダムFMSRコード実装と比較して顕著な性能向上を評価・実証すること。
• NCCloudなどのシステムで既に採用されている実用的FMSRコード実装の理論的基盤を提供すること。

提案手法

• 二重障害耐性下でのFMSRコードの存在の形式的証明により、任意の回数の修復後でもMDS障害耐性が保持されることを示す。
• 修復時にどのデータチャンクを読み込み、どの符号化係数を使用するかを明示的に指定する決定的FMSRコード構成法の設計。
• 再生中にMDS性が保持されることを検証するための二段階チェック手法の使用。
• C言語とテーブルルックアップを用いた有限体算術を用いて、GF(2^8)上でのランダムおよび決定的FMSRコード実装と評価。
• 2.4GHz Intel CPUを用いた評価で、1回の実行あたり50回の修復ラウンドを実施し、ノード数（n）を変化させ、30個のランダムシードを用いる。
• I/O時間に依存しない修復処理オーバーヘッドの代理指標として、二段階チェック時間の測定に注力する。

実験結果

リサーチクエスチョン

• RQ1 符号化されていない修復を伴う機能的最小ストレージレグレーティング（FMSR）コードは、複数回の修復ラウンドにわたりMDSレベルの障害耐性を保持できるか？
• RQ2 ランダム探索を伴わずにMDS性の保持を保証する、修復チャンクおよび符号化係数の決定的選択法は存在するか？
• RQ3 ノード数が増加するに従って、決定的FMSRコードとランダムFMSRコードの修復チェック時間の性能差はいかほどか？
• RQ4 大規模システムに対しても、決定的FMSRコードは1秒未塔で修復を完了できるか？
• RQ5 ランダム選択と決定的選択の違いが、修復中の二段階チェックの反復回数に与える影響は何か？

主な発見

• 本論文は、符号化されていない修復を伴うFMSRコードが、複数回の修復ラウンドにわたりMDS障害耐性を無期限に保持できることを形式的証明する。
• 決定的FMSRコードでは、n=10の場合、平均して1回の修復ラウンドあたり二段階チェックの反復回数が2.5未塔にまで低下するが、ランダムFMSRコードでは約100に達する。
• n ≤ 10の範囲では、決定的FMSRコードの合計修復チェック時間が0.2秒未塔に保たれる一方、ランダムFMSRコードは1秒を超え、nの増加に従い指数関数的に増加する。
• n=12の場合、ランダムFMSRコードの修復は2時間以内に収束しなかったが、決定的FMSRコードは0.5秒未塔で完了した。
• 決定的構成法により、評価されたすべての構成で修復が1秒未塔で完了することが可能となり、高い実用性が示された。
• 結果は、NCCloudにおける既存の実用的FMSRコード実装の正しさと実現可能性を裏付け、それらの理論的妥当性を確認した。