[論文レビュー] Network Coding for Distributed Storage Systems

Alexandros G. Dimakis, P. Brighten Godfrey+3 more|ArXiv.org|Mar 5, 2008

Cooperative Communication and Network Coding参考文献 31被引用数 31

ひとこと要約

この論文は、故障したノードの効率的な修復を可能にする分散ストレージシステム向けの再生コードを導入している。新規ノードが完全なデータ断片ではなく、生存ノードからの符号化関数（線形結合）をダウンロードすることで、従来のエラー訂正符号やレプリケーションとは比べ物にならないほど修復トラフィックを大幅に削減できる。主な貢献は、ストレージと修復帯域幅の間の理論的トレードオフを特定し、再生コードがこの曲線上の最適点を達成できることである。

ABSTRACT

Distributed storage systems provide reliable access to data through redundancy spread over individually unreliable nodes. Application scenarios include data centers, peer-to-peer storage systems, and storage in wireless networks. Storing data using an erasure code, in fragments spread across nodes, requires less redundancy than simple replication for the same level of reliability. However, since fragments must be periodically replaced as nodes fail, a key question is how to generate encoded fragments in a distributed way while transferring as little data as possible across the network. For an erasure coded system, a common practice to repair from a node failure is for a new node to download subsets of data stored at a number of surviving nodes, reconstruct a lost coded block using the downloaded data, and store it at the new node. We show that this procedure is sub-optimal. We introduce the notion of regenerating codes, which allow a new node to download \emph{functions} of the stored data from the surviving nodes. We show that regenerating codes can significantly reduce the repair bandwidth. Further, we show that there is a fundamental tradeoff between storage and repair bandwidth which we theoretically characterize using flow arguments on an appropriately constructed graph. By invoking constructive results in network coding, we introduce regenerating codes that can achieve any point in this optimal tradeoff.

研究の動機と目的

• ノード障害後に完全なデータ再構築が必要なエラー訂正符号化分散ストレージシステムにおける高い修復帯域幅コストを解消すること。
• 失われた断片を再生するために全データオブジェクトをダウンロードする必要がある従来の修復手法の非効率性を克服すること。
• 分散ストレージシステムにおけるストレージオーバーヘッドと修復帯域幅の間の根本的トレードオフを確立すること。
• このトレードオフ曲線上の最適点を達成する符号化方式を設計し、修復時のストレージおよびネットワーク使用量を最小限に抑えること。
• ネットワーク符号化の原則を活用して、より効率的でスケーラブルかつ実用的な分散ストレージシステムを構築できることを示すこと。

提案手法

• 新規ノードが生存ノードからのデータの関数（線形結合）を断片ではなくダウンロードする再生コードの概念を導入。
• 構築されたグラフ上のフロー解析を用いて、ノードあたりのストレージ量（α）と修復帯域幅（γ）の間の根本的トレードオフを理論的に特徴づける。
• ネットワーク符号化の構成的結果を応用して、最適トレードオフ曲線上の任意の点を達成する明示的な再生コードを設計。
• 2つの極端な点を定義：最小ストレージ再生（MSR）コード（最小のストレージオーバーヘッド）と最小帯域幅再生（MBR）コード（最小の修復帯域幅）。
• 有限体上でのランダム線形ネットワーク符号化を用いて修復パケットを生成し、高い確率で回復が可能であることを保証。
• すべてのノードが等しいデータを格納し、修復において同等に参加する対称的設計を提案し、I/Oボトルネックを低減。

実験結果

リサーチクエスチョン

• RQ1 エラー訂正符号化分散ストレージシステムにおける修復帯域幅を、従来のk×断片サイズ未満に低下させることは可能か？
• RQ2 分散ストレージにおいてストレージコストと修復帯域幅の間に根本的トレードオフが存在し、理論的に特徴づけられるか？
• RQ3 ネットワーク符号化技術を用いて、このトレードオフ曲線上の最適点を達成する符号を構築できるか？
• RQ4 再生コードは、レプリケーションやハイブリッド方式と比較して、帯域幅、ストレージ、システム複雑性の観点でどのように異なるか？
• RQ5 ノードの動的変化や限られたリソースを有する実世界の分散システムにおいて、再生コードを用いる実用的意義は何か？

主な発見

• 再生コードにより、(4,2)システムにおいて修復帯域幅をMビット（k断片分）から1.5Mビットまで低減でき、従来手法と比較して25%の削減が達成された。
• ノードあたりのストレージ量（α）と修復帯域幅（γ）の間には根本的トレードオフが存在し、ネットワークフロー解析を用いて理論的に特徴づけられた。
• 最適トレードオフ曲線は再生コードによって達成され、MSRコードはストレージを最小化し、MBRコードは修復帯域幅を最小化する。
• (4,2)システムにおいて最小修復帯域幅は1.5MBであり、これは情報理論的に最適であり、線形ネットワーク符号化によって達成可能である。
• MSRコードはハイブリッド方式よりも低いストレージと帯域幅を提供するが、MBRコードは対称的かつスケーラブルな修復を実現し、I/Oボトルネックを低減する。
• 本研究の結果により、先行研究における誤りが是正され、すべての可能な(α, γ)ペアに対する最適修復帯域幅が一般化され、完全な理論的基盤が確立された。