[논문 리뷰] Optimal Locally Repairable Codes and Connections to Matroid Theory

Itzhak Tamo, Dimitris Papailiopoulos외 1명|arXiv (Cornell University)|2013. 01. 31.

Advanced Data Storage Technologies참고 문헌 20인용 수 29

한 줄 요약

이 논문은 r+1가 n을 나누는 모든 n, k, r에 대해 최대의 최소 거리를 달성하는 최적의 로컬 수리 가능 코드(LRC)의 간단하고 명시적인 구성법을 제시한다. 방법은 리드-소로몬 코드와 국소 수리 그룹을 조합하며, 생성 행렬의 매트로이드 표현에서 회로 구조와 코드 거리 간의 관계를 연결하는 새로운 매트로이드 이론적 분석을 통해 최적성의 증명을 한다.

ABSTRACT

Petabyte-scale distributed storage systems are currently transitioning to erasure codes to achieve higher storage efficiency. Classical codes like Reed-Solomon are highly sub-optimal for distributed environments due to their high overhead in single-failure events. Locally Repairable Codes (LRCs) form a new family of codes that are repair efficient. In particular, LRCs minimize the number of nodes participating in single node repairs during which they generate small network traffic. Two large-scale distributed storage systems have already implemented different types of LRCs: Windows Azure Storage and the Hadoop Distributed File System RAID used by Facebook. The fundamental bounds for LRCs, namely the best possible distance for a given code locality, were recently discovered, but few explicit constructions exist. In this work, we present an explicit and optimal LRCs that are simple to construct. Our construction is based on grouping Reed-Solomon (RS) coded symbols to obtain RS coded symbols over a larger finite field. We then partition these RS symbols in small groups, and re-encode them using a simple local code that offers low repair locality. For the analysis of the optimality of the code, we derive a new result on the matroid represented by the code generator matrix.

연구 동기 및 목표

• 분산 스토리지 시스템을 위한 최적의 로컬 수리 가능 코드(LRC)의 명시적이고 단순한 구성법을 개발하는 것.
• r+1가 n을 나누는 모든 코드 파라미터 n, k, r에 대해 최적의 LRC를 구성하는 열린 문제를 해결하는 것.
• LRC의 최소 거리와 그 생성 행렬의 매트로이드 구조 간의 이론적 연결 고리를 수립하는 것.
• 최적의 (n,k,r,δ) LRC로의 일반화를 통해 향상된 국소성 및 거리 성질을 지원하는 것.
• 이미 리드-소로몬 코드를 사용하여 효율적인 수리를 수행하는 실세계 시스템, 예를 들어 Windows Azure와 Hadoop와 같은 시스템에 실용적인 솔루션을 제공하는 것.

제안 방법

• 리드-소로몬(RS) 코드로 암호화된 기호들을 작은 국소 그룹으로 묶고, 간단한 국소 코드로 재암호화하여 국소 수리 국소성 r을 달성한다.
• 각 국소 그룹은 길이 r+1이고 최소 거리 δ인 MDS 코드를 형성하여 그룹 내에서 최대 δ−1개의 기호 손실에 대해 복구할 수 있다.
• 전체 코드의 생성 행렬은 매트로이드 이론을 통해 분석되며, 여기서 회로는 수리 의존성을 포괄하는 최소 종속 집합을 나타낸다.
• 핵심 기여는 최소 거리를 매트로이드 매개변수 μ의 표현식으로 유도하는 것으로, μ는 임의의 γ개의 회로의 합집합 크기가 최소 k+γ가 되는 최소 정수 γ로 정의된다.
• 증명은 μ = (⌈k/r⌉−1)(δ−1)+1임을 보여주며, 이는 최소 거리 d = n−k−⌈k/r⌉+2로 이어지고 이는 최적의 경계와 일치한다.
• 매트로이드 매개변수 μ가 거리 최적성에 필요한 이론적 하한을 달성함을 보여줌으로써, 구성법이 최적임을 증명한다.

실험 결과

연구 질문

• RQ1 r+1가 n을 나누는 모든 n,k,r에 대해 최적의 (n,k,r) LRC에 대한 간단하고 명시적인 구성법을 개발할 수 있는가?
• RQ2 특히 생성 행렬의 회로 구조를 통해 매트로이드 이론으로 LRC의 최소 거리를 어떻게 특징화할 수 있는가?
• RQ3 모든 기호 국소성의 LRC에서 국소 수리 그룹의 수와 전체 코드 거리 간의 관계는 무엇인가?
• RQ4 매트로이드 이론 프레임워크를 사용하여 특정 코드 가족을 초월해 LRC 구성법의 최적성을 증명할 수 있는가?
• RQ5 구성법을 δ-확장 국소성(다중 고장 내에서 복구 가능)을 지원하도록 일반화할 수 있는가?

주요 결과

• 제안된 LRC 구성법은 r+1가 n을 나누는 모든 n,k,r에 대해 최적의 최소 거리 d = n−k−⌈k/r⌉+2를 달성하며, 이는 이론적 상한과 일치한다.
• 구성법은 단순하고 명시적이며, 기호당 O(k log n) 비트만으로 기술 가능하며, RS 암호화 기호의 묶음과 재암호화에 기반한다.
• 최소 거리는 새로운 매트로이드 이론적 분석을 통해 최적임이 증명되며, 핵심 매개변수 μ는 μ = (⌈k/r⌉−1)(δ−1)+1로 나타난다.
• 분석 결과, 매트로이드에서 (⌈k/r⌉−1)(δ−1)+1개의 회로의 임의의 합집합의 크기는 최소 k + (⌈k/r⌉−1)(δ−1)+1여야 하며, 이는 거리 최적성을 보장한다.
• 구성법은 최적의 (n,k,r,δ) LRC로 일반화되어, 다중 국소 고장에 대한 복구 능력을 향상시킨 δ-확장 국소성을 지원한다.
• 이 작업은 선형 코드의 최소 거리와 생성 행렬의 매트로이드 표현에서의 회로 구조 간의 공식적인 연결 고리를 수립한다.