[논문 리뷰] New MDS codes with small sub-packetization and near-optimal repair bandwidth

Venkatesan Guruswami, Ankit Singh Rawat|arXiv (Cornell University)|2016. 07. 31.

Advanced Data Storage Technologies참고 문헌 32인용 수 3

한 줄 요약

이 논문은 소수의 서브패킷화 수준 ℓ = O(n−k)와 거의 최적의 복구 대역폭을 갖는 MDS 벡터 코드의 새로운 구성법을 제시한다. 특히, 임의의 정수 t≥1에 대해 컷셋 경계의 최대 (1+1/t)배의 복구 대역폭을 확보한다. 이 코드들은 복구 시 전송을 통한 복구 메커니즘을 통해 정확한 복구를 효율적으로 실현하며, 복구 노드에서의 계산 오버헤드를 최소화하여 분산 스토리지 시스템에서의 실용적 구현을 가능하게 한다.

ABSTRACT

An $(n, M)$ vector code $\mathcal{C} \subseteq \mathbb{F}^n$ is a collection of $M$ codewords where $n$ elements (from the field $\mathbb{F}$) in each of the codewords are referred to as code blocks. Assuming that $\mathbb{F} \cong \mathbb{B}^{\ell}$, the code blocks are treated as $\ell$-length vectors over the base field $\mathbb{B}$. Equivalently, the code is said to have the sub-packetization level $\ell$. This paper addresses the problem of constructing MDS vector codes which enable exact reconstruction of each code block by downloading small amount of information from the remaining code blocks. The repair bandwidth of a code measures the information flow from the remaining code blocks during the reconstruction of a single code block. This problem naturally arises in the context of distributed storage systems as the node repair problem [4]. Assuming that $M = |\mathbb{B}|^{k\ell}$, the repair bandwidth of an MDS vector code is lower bounded by $\big(\frac{n - 1}{n - k}\big)\cdot \ell$ symbols (over the base field $\mathbb{B}$) which is also referred to as the cut-set bound [4]. For all values of $n$ and $k$, the MDS vector codes that attain the cut-set bound with the sub-packetization level $\ell = (n-k)^{\lceil{{n}/{(n-k)}} ceil}$ are known in the literature [23, 35]. This paper presents a construction for MDS vector codes which simultaneously ensures both small repair bandwidth and small sub-packetization level. The obtained codes have the smallest possible sub-packetization level $\ell = O(n - k)$ for an MDS vector code and the repair bandwidth which is at most twice the cut-set bound. The paper then generalizes this code construction so that the repair bandwidth of the obtained codes approach the cut-set bound at the cost of increased sub-packetization level. The constructions presented in this paper give MDS vector codes which are linear over the base field $\mathbb{B}$.

연구 동기 및 목표

• 분산 스토리지 시스템에서 MDS 코드의 서브패킷화 수준 ℓ와 복구 대역폭 간의 상호 갈등을 해결하기 위해.
• 서브패킷화 수준 ℓ를 가능한 한 작게 유지하면서 거의 최적의 복구 대역폭을 달성하는 MDS 코드를 구성하기 위해.
• 복구 시 전송을 통한 복구를 지원하여, 복구 중에 접속된 노드에서의 계산을 최소화함으로써 실용적 구현을 가능하게 하기 위해.
• 구성을 일반화하여 복구 대역폭을 컷셋 경계에 가깝게 만들되, 약간 증가된 서브패킷화 수준을 감수하기 위해.

제안 방법

• 효율적 복구를 가능하게 하는 특정한 희박성 패턴을 갖는 구조화된 패리티체크 행렬을 기반으로 한 조합 설계를 사용한다.
• 코드 기호를 단계로 나누고, 다른 노드로부터 제한된 수의 기호만 다운로드하여 결손 기호를 복구하는 선형 제약 조건을 적용한다.
• 복구 과정은 두 단계로 나뉜다: 1단계는 (n−1)r^{t−1}개의 기호를 다운로드하고, 2단계는 최대 (r−1)r^{t−1}⌊s/t⌋개의 기호를 다운로드한다. 여기서 r = n−k이다.
• 복구 대역폭은 (1+1/t)(n−1)/r · ℓ로 제한되며, 이는 컷셋 경계의 (1+1/t)배이다.
• 코드는 기본 체 𝔹 위에서 선형이며, 패리티체크 행렬의 조합 구조를 통해 MDS 성질을 보장한다.
• 일반적인 d에 대해, 서브패킷화 수준을 (d−k+1)^t로 증가시켜 복구 대역폭을 컷셋 경계에 가깝게 만들 수 있도록 구성법을 일반화한다.

실험 결과

연구 질문

• RQ1 서브패킷화 수준 ℓ = O(n−k)를 갖는 MDS 코드를 구성할 수 있는가, 이때 거의 최적의 복구 대역폭을 유지할 수 있는가?
• RQ2 작은 ℓ를 갖는 MDS 코드에서 복구 시 전송을 통한 복구를 어떻게 실현할 수 있는가? 이는 노드 복구 중 계산 비용을 감소시킨다.
• RQ3 컷셋 경계에 접근할 때 서브패킷화 수준과 복구 대역폭 간의 상호 갈등은 어떠한가?
• RQ4 구성법을 d < n−1인 노드를 접속하여 복구하는 데도 일반화할 수 있는가? (단지 d = n−1일 때만 가능한 것이 아니라.)
• RQ5 기본 체의 크기를 줄일 수 있는가, 이로써 MDS 성질과 복구 효율성을 유지할 수 있는가?

주요 결과

• 제안된 코드는 ℓ = O(n−k)의 서브패킷화 수준을 달성하며, 거의 최적의 복구 대역폭을 갖는 MDS 코드에서 가능한 가장 작은 수준이다.
• 복구 대역폭은 최대 (1+1/t)배의 컷셋 경계를 갖는다. 여기서 t는 상호 갈등을 제어하는 설계 파라미터이다.
• t=1일 경우 복구 대역폭은 최대 컷셋 경계의 2배이며, 이는 작은 ℓ를 갖는 이전의 구성법에 비해 상당한 향상이다.
• 구성법은 복구 시 전송을 통한 복구를 지원하여, 복구 중 접속된 노드에서 계산이 전혀 필요 없게 하여 효율성을 향상시킨다.
• 코드는 기본 체 𝔹 위에서 선형이며, 패리티체크 행렬의 철저히 설계된 조합적 구조 덕분에 MDS 성질을 유지한다.
• 이 방법은 임의의 d < n−1로 일반화 가능하며, 서브패킷화 수준은 (d−k+1)^t가 되고, t가 증가함에 따라 복구 대역폭은 컷셋 경계에 가까워진다.