[논문 리뷰] Explicit constructions of high-rate MDS array codes with optimal repair bandwidth

Min Ye, Alexander Barg|arXiv (Cornell University)|2016. 04. 02.

Advanced Data Storage Technologies인용 수 15

한 줄 요약

이 논문은 임의의 수의 패리티 노드에 대해 최적의 복구 대역폭을 갖는 고속도 MDS 어레이 코드의 두 가지 명시적 구성법을 제시한다. 이는 모든 $h \leq r$ 및 $k \leq d \leq n-h$에 대해 동시에 $(h,d)$-최적 복구를 달성한다. 첫 번째 가족은 최소 $\text{lcm}(1,2,\dots,r) \cdot n$ 크기의 체에서 작동하며, 두 번째 가족은 최소 $n+1$ 크기의 체에서 최적의 액세스 성능을 달성한다. 양쪽 모두 저복잡도의 인코딩, 디코딩, 복구 및 업데이트를 지원한다.

ABSTRACT

Maximum distance separable (MDS) codes are optimal error-correcting codes in the sense that they provide the maximum failure-tolerance for a given number of parity nodes. Suppose that an MDS code with $k$ information nodes and $r=n-k$ parity nodes is used to encode data in a distributed storage system. It is known that if $h$ out of the $n$ nodes are inaccessible and $d$ surviving (helper) nodes are used to recover the lost data, then we need to download at least $h/(d+h-k)$ fraction of the data stored in each of the helper nodes (Dimakis et. al., 2010 and Cadambe et al., 2013). If this lower bound is achieved for the repair of any $h$ erased nodes from any $d$ helper nodes, we say that the MDS code has the $(h,d)$-optimal repair property. We study high-rate MDS array codes with the optimal repair property. Explicit constructions of such codes in the literature are only available for the cases where there are at most 3 parity nodes, and these existing constructions can only optimally repair a single node failure by accessing all the surviving nodes. In this paper, given any $r$ and $n$, we present two explicit constructions of MDS array codes with the $(h,d)$-optimal repair property for all $h\le r$ and $k\le d\le n-h$ simultaneously. Codes in the first family can be constructed over any base field $F$ as long as $|F|\ge sn,$ where $s= ext{lcm}(1,2,\dots,r).$ The encoding, decoding, repair of failed nodes, and update procedures of these codes all have low complexity. Codes in the second family have the optimal access property and can be constructed over any base field $F$ as long as $|F|\ge n+1.$ Moreover, both code families have the optimal error resilience capability when repairing failed nodes. We also construct several other related families of MDS codes with the optimal repair property.

연구 동기 및 목표

• 다중 노드 장애를 위한 최적의 복구 대역폭을 갖는 명시적 고속도 MDS 어레이 코드를 구축하기.
• 기존의 단일 노드 복구에 국한된 구성법을 초과하여, 임의의 $d$ 개의 히알퍼 노드를 사용해 최대 $r$ 개의 실패한 노드를 동시에 복구할 수 있도록 확장하기.
• 체 크기와 서브패키터라이제이션을 최소화하면서도 저복잡도 연산(인코딩, 디코딩, 복구, 업데이트)을 유지하기.
• 다중 노드 장애 복구 중 최적의 오류 내성 확보하기.
• 이전 연구에서 최대 세 개의 패리티 노드와 단일 노드 복구에 국한된 구성법을 일반화하기.

제안 방법

• 적절히 선택된 평가 점과 역행렬을 갖는 행렬을 사용하여 일반화된 리드-솔로몬 어레이 코드를 이용해 MDS 어레이 코드를 구성하기.
• 바르데모인드 유사 행렬을 포함하는 패리티 체크 식을 활용하여, 각 히알퍼에서 $l/s_i$개의 기호만 다운로드해도 실패한 노드를 복구할 수 있도록 하기.
• 서브패키터라이제이션 $l = s^{n-1}$ 과 $s = \text{lcm}(d_1+1-k, \dots, d_m+1-k)$ 를 사용해 동시에 여러 $d$-최적 복구 구성 설정을 지원하기.
• 각 히알퍼 노드의 부분 다운로드로부터 개별 노드 데이터를 복구할 수 있도록 하는 역행렬 변환 행렬 $W_i$ 를 적용하기.
• 첫 번째 가족은 $|F| \geq \text{lcm}(1,2,\dots,r) \cdot n$ 을, 두 번째 가족은 $|F| \geq n+1$ 를 만족하도록 체 크기 조건을 설정하여 실용적 구현 가능하게 하기.
• 단일 오류 복구의 개념을 다중 오류로 확장하여 다중 노드 장애에 대한 오류 내성 개념을 일반화하기.

실험 결과

연구 질문

• RQ1 최대 세 개의 패리티 노드 이외의 경우에 대해, 모든 $h \leq r$ 및 $k \leq d \leq n-h$ 에 대해 동시에 $(h,d)$-최적 복구를 달성하는 명시적 MDS 어레이 코드를 구성할 수 있는가?
• RQ2 이러한 코드를 명시적으로 구성할 때 필요한 체 크기는 얼마이며, 저복잡도 연산을 유지할 수 있는가?
• RQ3 복구 과정이 대역폭 뿐 아니라 액세스 패턴에서도 최적화될 수 있는가(즉, 최적의 액세스 성능을 갖는가)?
• RQ4 다중 실패한 노드 복구 중 오류 내성은 어떻게 유지되고 일반화될 수 있는가?
• RQ5 한 번의 코드 가족 내에서 여러 다른 $d$-최적 복구 구성 설정을 동시에 지원할 수 있는가?

주요 결과

• 첫 번째 코드 가족은 $|F| \geq \text{lcm}(1,2,\dots,r) \cdot n$ 인 임의의 유한체 $F$ 에서 모든 $h \leq r$ 및 $k \leq d \leq n-h$ 에 대해 $(h,d)$-최적 복구를 달성한다.
• 두 번째 코드 가족은 최적의 액세스 성능을 달성하며, $|F| \geq n+1$ 인 임의의 체에서 동일한 복구 최적성과 함께 작동한다. 이는 복구 중 효율적인 데이터 검색을 가능하게 한다.
• 양쪽 코드 가족 모두 저복잡도의 인코딩, 디코딩, 복구 및 업데이트 절차를 지원하여 실제 분산 스토리지 시스템에 실용적으로 적용 가능하다.
• 서브패키터라이제이션 $s = \text{lcm}(d_1+1-k, \dots, d_m+1-k)$ 를 설정함으로써, $d$-최적 복구 성질을 여러 $d$ 값에 동시에 일반화하였다.
• 코드는 복구 중 최적의 오류 내성을 유지하며, 이는 이전의 단일 노드 복구 결과를 다중 장애로 확장한 것이다.
• 구성 4의 $(n,k,(n-k)^{n-1})$ 코드는 $(d+1-k)$ 가 $(n-k)$ 를 나누면 $d$-최적 복구를 달성하며, 예측 가능한 성능을 갖는 구체적 구현 사례를 제공한다.