[論文レビュー] Optimal Locally Repairable Codes and Connections to Matroid Theory

Itzhak Tamo, Dimitris Papailiopoulos+1 more|arXiv (Cornell University)|Jan 31, 2013

Advanced Data Storage Technologies参考文献 20被引用数 29

ひとこと要約

この論文は、r+1がnを割り切る任意のn, k, rに対して、最小距離を最大にする、シンプルで明示的な最適局所修復コード（LRC）の構成を提示する。この手法はリード・ソロモントコードと局所的修復グループを組み合わせており、生成行列のマトロイド表現における回路構造とコード距離を結びつける、新しいマトロイド理論的分析により最適性を証明する。

ABSTRACT

Petabyte-scale distributed storage systems are currently transitioning to erasure codes to achieve higher storage efficiency. Classical codes like Reed-Solomon are highly sub-optimal for distributed environments due to their high overhead in single-failure events. Locally Repairable Codes (LRCs) form a new family of codes that are repair efficient. In particular, LRCs minimize the number of nodes participating in single node repairs during which they generate small network traffic. Two large-scale distributed storage systems have already implemented different types of LRCs: Windows Azure Storage and the Hadoop Distributed File System RAID used by Facebook. The fundamental bounds for LRCs, namely the best possible distance for a given code locality, were recently discovered, but few explicit constructions exist. In this work, we present an explicit and optimal LRCs that are simple to construct. Our construction is based on grouping Reed-Solomon (RS) coded symbols to obtain RS coded symbols over a larger finite field. We then partition these RS symbols in small groups, and re-encode them using a simple local code that offers low repair locality. For the analysis of the optimality of the code, we derive a new result on the matroid represented by the code generator matrix.

研究の動機と目的

• 分散ストレージシステム向けに、最適な局所修復コード（LRC）の明示的でシンプルな構成を開発すること。
• r+1がnを割り切る任意のコードパラメータn, k, rについて、最適LRCを構成するという未解決問題に取り組むこと。
• LRCの最小距離とその生成行列のマトロイド構造との間の理論的関係を確立すること。
• 局所修復性と距離特性を向上させた、最適な(n,k,r,δ) LRCにこの構成を一般化すること。
• Windows Azure や Hadoop といった実世界のシステムで既にLRCが使用されていることに鑑み、実用的な解決策を提供すること。

提案手法

• リード・ソロモント（RS）符号の符号記号を小さな局所的グループにグループ化し、単純な局所的符号を用いて再符号化することで、局所修復性rを達成する。
• 各局所的グループは長さr+1、最小距離δのMDS符号を形成し、グループ内での最大δ−1個の記号消失から回復可能である。
• 全体の符号の生成行列をマトロイド理論を用いて分析し、回路（circuit）が修復依存関係を捉える最小の線形従属集合に対応する。
• 主な技術的貢献は、マトロイドパラメータμを用いた最小距離の式を導出することであり、μは任意のγ個の回路の和集合のサイズが少なくともk+γ以上であるような最小の整数γとして定義される。
• 証明によりμ = (⌈k/r⌉−1)(δ−1)+1であることが示され、これにより最小距離d = n−k−⌈k/r⌉+2が得られ、最適境界と一致する。
• マトロイドパラメータμが距離最適性に必要な理論的下界に達していることの証明により、構成が最適であることが示される。

実験結果

リサーチクエスチョン

• RQ1 r+1がnを割り切る任意のn,k,rについて、最適(n,k,r) LRCのシンプルで明示的な構成を開発できるか？
• RQ2 マトロイド理論を用いて、特に生成行列の回路構造を通じて、LRCの最小距離をどのように特徴づけられるか？
• RQ3 すべての記号が局所的修復性を持つLRCにおいて、局所修復グループの数と全体の符号距離の関係は何か？
• RQ4 マトロイド理論的枠組みを用いて、特定の符号族を超えてLRC構成の最適性を証明できるか？
• RQ5 構成をδ拡張局所性をサポートするように一般化できるか？これにより、局所グループ内での複数故障からの回復が可能になる。

主な発見

• 提案されたLRC構成は、r+1がnを割り切るすべてのn,k,rについて、理論的上界と一致する最適最小距離d = n−k−⌈k/r⌉+2を達成する。
• 構成はシンプルで明示的であり、各記号を記述するのにO(k log n)ビットしか必要とせず、RS符号の記号をグループ化して再符号化するものである。
• 最小距離の最適性は、新しいマトロイド理論的分析により証明され、重要なパラメータμがμ = (⌈k/r⌉−1)(δ−1)+1であることが示された。
• 解析により、マトロイドにおける(⌈k/r⌉−1)(δ−1)+1個の回路の任意の和集合のサイズは、少なくともk + (⌈k/r⌉−1)(δ−1)+1以上であることが判明し、これにより距離最適性が保証される。
• 構成は、より高い耐障害性を実現するδ拡張局所性をサポートする最適(n,k,r,δ) LRCに一般化可能である。
• 本研究は、線形符号の最小距離と生成行列のマトロイド表現における回路構造との間の明確な理論的関係を確立した。