[논문 리뷰] Minimum Storage Regenerating Codes For All Parameters

Sreechakra Goparaju, Arman Fazeli외 1명|arXiv (Cornell University)|2016. 02. 14.

Advanced Data Storage Technologies참고 문헌 13인용 수 12

한 줄 요약

이 논문은 모든 파rameter 조합 [n, k, d]에 대해 체계적 복구 최소 저장 재생(MSR) 코드의 최초 명시적 구성법을 제시한다. 이는 고율 코드(k/n > 0.5)와 낮은 복구 연결성(d < n−1)을 포함한다. 방법은 여러 복구 시나리오에 걸쳐 간섭 정렬을 적용하며, 스웨츠-지펠 렘마를 통해 행렬의 행렬식이 0이 되지 않는 조건을 통해 유한체 크기를 도출하여, 임의의 도우미 노드 조합에서도 체계적 노드의 최적 복구 대역폭을 보장한다.

ABSTRACT

Regenerating codes for distributed storage have attracted much research interest in the past decade. Such codes trade the bandwidth needed to repair a failed node with the overall amount of data stored in the network. Minimum storage regenerating (MSR) codes are an important class of optimal regenerating codes that minimize (first) the amount of data stored per node and (then) the repair bandwidth. Specifically, an $[n,k,d]$-$(α)$ MSR code $\mathbb{C}$ over $\mathbb{F}_q$ is defined as follows. Using such a code $\mathbb{C}$, a file $\cal{F}$ consisting of $αk$ symbols over $\mathbb{F}_q$ can be distributed among $n$ nodes, each storing $α$ symbols, in such a way that: The file $\cal{F}$ can be recovered by downloading the content of any $k$ of the $n$ nodes; and the content of any failed node can be reconstructed by accessing any $d$ of the remaining $n-1$ nodes and downloading $α/(d-k+1)$ symbols from each of these nodes. Unfortunately, explicit constructions of $[n,k,d]$ MSR codes are known only for certain special cases: either low rate, namely $k/n&lt;0.5$, or high repair connectivity, namely $d = n-1$. Although setting $d = n-1$ minimizes the repair bandwidth, it may be impractical to connect to all the remaining nodes in order to repair a single failed node. Our main result in this paper is an explicit construction of systematic-repair $[n,k,d]$ MSR codes for all possible values of parameters $n,k,d$. In particular, we construct systematic-repair MSR codes of high rate $k/n&gt;0.5$ and low repair connectivity $k&lt; d

연구 동기 및 목표

• 분산 저장 시스템에서 고율 및 저연결성 MSR 코드에 대한 명시적 구성법 부족 문제를 해결하기 위해.
• 낮은 비율(k/n ≤ 0.5) 또는 완전한 연결성(d = n−1)의 제한적인 경우를 초월해 MSR 코드의 실용적 구현을 가능하게 하기 위해.
• 체계적 노드에 대해서만 최적 복구 대역폭을 확보하면서도, 패리티 노드의 복구는 최적화되지 않을 수 있도록 하기 위해.
• 모든 유효한 n, k, d 조합에 대해 작동하는 유한체 기반 구성법을 제공하기 위해.

제안 방법

• 모든 체계적 노드의 복구를 다수의 도우미 노드 구성에 걸쳐 간섭 정렬 문제로 재구성한다.
• 복구 부분공간을 기저 벡터와 체수 λi,j의 선형 조합으로 정의하는 구조적 행렬 표현을 사용한다.
• Schwartz-Zippel–DeMillo–Lipton 렘마를 적용하여, 충분히 큰 체에서 복구 행렬의 비영 행렬식이 양의 확률로 존재함을 보여준다.
• q > qANY인 체 크기 조건을 유도하며, 여기서 qANY는 패리티 및 체계적 도우미 노드의 수에 대한 함수로, 복구 행렬의 가역성을 보장한다.
• 체계적 및 패리티 노드를 사용하여 코드를 구성하며, 정밀하게 설계된 정렬 방식에 따라 패리티 노드가 체계적 데이터의 선형 조합을 저장한다.
• MDS 코드 성질과의 조합을 통해 파일 복구가 임의의 k개 노드에서 가능하고, 최적 저장 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 모든 파rameter 조합 [n, k, d]에 대해 명시적 체계적 복구 MSR 코드를 구성할 수 있는가, 특히 고율 및 저연결성 케이스를 포함하여?
• RQ2 d < n−1일 때, 나머지 모든 노드에 대한 완전한 연결성을 요구하지 않고도 체계적 노드의 복구에 대해 최적 복구 대역폭을 달성할 수 있는가?
• RQ3 복구 행렬에 대한 대수적 조건을 통해 이러한 코드의 존재를 보장하기 위해 필요한 체 크기는 얼마인가?
• RQ4 간섭 정렬 기법을 다양한 복구 시나리오와 임의의 도우미 노드 조합을 동시에 만족하도록 확장할 수 있는가?
• RQ5 제안된 구성법은 MDS 성질과 최적 저장 효율성을 유지하면서도 실용적인 복구를 가능하게 하는가?

주요 결과

• 논문은 모든 가능한 n, k, d 값에 대해 체계적 복구 MSR 코드의 최초 명시적 구성법을 제시한다. 이는 k/n > 0.5인 고율 코드를 포함한다.
• d < n−1일 때도, 어떤 도우미 노드 조합에 대해든 체계적 노드 복구에 대해 최적 복구 대역폭 dα/(d−k+1)를 달성한다.
• q > qANY인 유한체 크기로 모든 구성에서 복구 행렬의 가역성을 보장할 수 있으며, qANY는 r, k, d, α에 따라 달라진다.
• 체 크기 요구 조건은 다변수 다항식 행렬식의 차수에 기반하며, Schwartz-Zippel 렘마는 적합한 체 원소 λi,j의 존재를 보장한다.
• 구성법은 MDS 성질을 유지하여 임의의 k개 노드에서 파일 복구가 가능하고, 최적 저장 효율성(α = M/k)을 보장한다.
• 이전의 d = n−1 또는 k/n ≤ 0.5에 국한된 구성법을 일반화하며, 최소 복구 대역폭을 갖는 실용적인 고율 분산 저장의 길을 열어준다.