[논문 리뷰] Explicit constructions of optimal-access MDS codes with nearly optimal sub-packetization

Min Ye, Alexander Barg|arXiv (Cornell University)|2016. 05. 27.

Advanced Data Storage Technologies참고 문헌 29인용 수 14

한 줄 요약

이 논문은 하위패킷화 $ l = r^{\lceil n/r\rceil} $ 를 갖는 최적 접근성 MDS 코드의 명시적 구성법을 제시한다. 이는 이론적 하한값 $ r^{(k-1)/r} $ 과 인치 $ r^2 $ 이내에 있다. 코드는 낮은 복잡도의 인코딩 및 디코딩을 실현하며, 최적의 접근성 복구를 달성한다. 또한 임의의 유한체 $ |F| \geq r\lceil n/r\rceil $ 에서 구성 가능하여 이전의 구성법에 비해 하위패킷화를 크게 감소시키면서도 최적의 복구 효율성을 유지한다.

ABSTRACT

An $(n,k,l)$ MDS array code of length $n,$ dimension $k=n-r$ and sub-packetization $l$ is formed of $l imes n$ matrices over a finite field $F,$ with every column of the matrix stored on a separate node in a distributed storage system and viewed as a coordinate of the codeword. Repair of a failed node can be performed by accessing a set of $d\le n-1$ helper nodes. The code is said to have the optimal access property if the amount of data accessed at each of the helper nodes meets a lower bound on this quantity. For optimal-access MDS codes with $d=n-1,$ the sub-packetization $l$ satisfies the bound $l\ge r^{(k-1)/r}.$ In our previous work, for any $n$ and $r,$ we presented an explicit construction of optimal-access MDS codes with sub-packetization $l=r^{n-1}.$ In this paper we take up the question of reducing the sub-packetization value $l$ to make it approach the lower bound. We construct an explicit family of optimal-access codes with $l=r^{\lceil n/r ceil},$ which differs from the optimal value by at most a factor of $r^2.$ These codes can be constructed over any finite field $F$ as long as $|F|\ge r\lceil n/r ceil,$ and afford low-complexity encoding and decoding procedures. We also define a version of the repair problem that bridges the context of regenerating codes and codes with locality constraints (LRC codes), calling it group repair with optimal access. In this variation, we assume that the set of $n=sm$ nodes is partitioned into $m$ repair groups of size $s,$ and require that the amount of accessed data for repair is the smallest possible whenever the $d$ helper nodes include all the other $s-1$ nodes from the same group as the failed node. For this problem, we construct a family of codes with the group optimal access property. These codes can be constructed over any field $F$ of size $|F|\ge n,$ and also afford low-complexity encoding and decoding procedures.

연구 동기 및 목표

• 최적 접근성 MDS 코드에서 하위패킷화를 줄이되, 최적의 복구 대역폭과 접근 효율성을 유지하기 위해.
• 재생 코드와 국소적으로 복구 가능한 코드(LRCs) 사이의 격차를 메우기 위해 새로운 복구 모델인 '그룹 복구'와 최적 접근성을 도입함으로써.
• 이론적 하한에 근접한 거의 최적의 하위패킷화 $ l = r^{\lceil n/r \rceil} $ 를 갖는 명시적 코드를 구성하기 위해.
• 실제 분산 스토리지 시스템에 적합한 낮은 복잡도의 인코딩 및 디코딩 절차를 확보하기 위해.
• 더 넓은 배포 가능성을 확보하기 위해 소수체에서의 구성이 가능하도록 하기 위해, 특히 $ |F| \geq r\lceil n/r\rceil $ 에서의 구성 가능성을 확보하기 위해.

제안 방법

• 노드를 크기 $ s $ 의 그룹으로 나누고, 동일 그룹 내의 다른 모든 노드가 도우미일 경우 최소한의 데이터만 접근하는 '그룹 복구와 최적 접근성'이라는 새로운 복구 모델을 제안한다.
• 유한체 위에서의 구조적 선형 대수학을 활용하여 코드를 구성하며, 바르데본드 유사 행렬의 성질과 철저히 선택된 생성 행렬을 활용한다.
• 각 도우미 노드에서 $ \omega_{i,j} $ 개의 기호만 접근하는 복구 함수 $ f_{i,j} $ 와 $ g_i $ 를 정의하여, 접근된 데이터의 하한값을 충족함으로써 최적의 접근성을 확보한다.
• 각 $ s $ 개 노드로 이루어진 그룹이 복구 그룹이 되는 블록 구조 코드 설계를 사용한다. 복구 그룹 내의 실패한 노드 복구 시 동일 그룹 내의 나머지 $ s-1 $ 개 노드를 도우미로 사용한다.
• 어느 복구 그룹 내의 실패한 노드 복구 시에도 오직 최소한의 기호 수만 다운로드함으로써, 그룹 복구 모델 내에서 최적의 접근성을 달성하도록 코드를 구성한다.
• 복구 과정에서 유도된 연립방정식 시스템이 접근된 기호의 최소 집합에 의해 유일하게 결정됨을 보여, 접근 패턴의 최적성을 입증한다.

실험 결과

연구 질문

• RQ1 최적 접근성 MDS 코드를 하위패킷화가 이론적 하한값 $ r^{(k-1)/r} $ 과 훨씬 가까이 오도록 구성하면서도, 낮은 체의 크기와 낮은 복잡도를 유지할 수 있는가?
• RQ2 복구 과정을 어떻게 재정의하면 재생 코드와 국소적으로 복구 가능한 코드(LRCs)의 이점을 결합할 수 있으며, 특히 데이터 접근을 최소화할 수 있는가?
• RQ3 소수체, 특히 $ |F| \geq r\lceil n/r\rceil $ 에서 하위패킷화 $ l = r^{\lceil n/r \rceil} $ 를 갖는 명시적 최적 접근성 MDS 코드를 구성할 수 있는가?
• RQ4 코드 행렬의 어떤 구조적 성질이 그룹 복구 모델 조건 하에서도 복구 시 오직 최소한의 기호 수만 접근되도록 보장하는가?
• RQ5 낮은 하위패킷화에도 불구하고 제안된 구성법이 낮은 인코딩 및 디코딩 복잡도를 유지할 수 있는가?

주요 결과

• 제안된 코드는 하위패킷화 $ l = r^{\lceil n/r \rceil} $ 를 갖는 최적 접근성 복구를 달성하며, 이는 이론적 하한값 $ r^{(k-1)/r} $ 과 인치 $ r^2 $ 이내에 있다.
• 이 구성법은 명시적이며 임의의 유한체 $ F $ 에 대해 $ |F| \geq r\lceil n/r\rceil $ 를 만족하는 경우에 적용 가능하여 실용적 구현이 가능하다.
• 낮은 복잡도의 인코딩 및 디코딩 절차를 지원하여 실제 분산 스토리지 시스템에 적합하다.
• 새로운 복구 모델인 '그룹 복구와 최적 접근성'을 도입하여, 크기 $ s $ 의 그룹 내에서 실패한 노드 복구 시 동일 그룹 내의 나머지 $ s-1 $ 개 노드만을 도우미로 사용함으로써 데이터 접근을 최소화한다.
• 증명을 통해 복구 과정이 접근된 기호의 최소 집합에 의해 유일하게 결정됨을 보여, 접근 패턴의 최적성을 확인한다.
• 기존 결과를 일반화하여 하위패킷화를 $ r^{n-1} $ 에서 $ r^{\lceil n/r \rceil} $ 으로 감소시킴으로써 확장성 측면에서 상당한 향상을 이룬다.