[논문 리뷰] The repair problem for Reed-Solomon codes: Optimal repair of single and multiple erasures, asymptotically optimal node size

Itzhak Tamo, Min Ye외 1명|arXiv (Cornell University)|2018. 05. 04.

Advanced Data Storage Technologies참고 문헌 8인용 수 8

한 줄 요약

이 논문은 분산 스토리지 시스템에서 단일 및 다중 손실에 대한 최적 복구를 위한 컷세트 경계를 만족하는 Reed-Solomon 코드의 명시적 구성법을 제시한다. 새로운 체계의 타워 구조와 선형 복구 방식을 사용함으로써, $ l = \exp((1+o(1))n\log n) $ 의 서브패키지 크기를 갖는 점근적으로 최적의 복구 대역폭을 달성하며, 스칼라 MDS 코드가 컷세트 경계를 충족하기 위해 초지수적 스케일링이 필수적이고 충분함을 증명한다.

ABSTRACT

The repair problem in distributed storage addresses recovery of the data encoded using an erasure code, for instance, a Reed-Solomon (RS) code. We consider the problem of repairing a single node or multiple nodes in RS-coded storage systems using the smallest possible amount of inter-nodal communication. According to the cut-set bound, communication cost of repairing $h\ge 1$ failed nodes for an $(n,k=n-r)$ MDS code using $d$ helper nodes is at least $dhl/(d+h-k),$ where $l$ is the size of the node. Guruswami and Wootters (2016) initiated the study of efficient repair of RS codes, showing that they can be repaired using a smaller bandwidth than under the trivial approach. At the same time, their work as well as follow-up papers stopped short of constructing RS codes (or any scalar MDS codes) that meet the cut-set bound with equality. In this paper we construct families of RS codes that achieve the cutset bound for repair of one or several nodes. In the single-node case, we present RS codes of length $n$ over the field $\mathbb{F}_{q^l},l=\exp((1+o(1))n\log n)$ that meet the cut-set bound. We also prove an almost matching lower bound on $l$, showing that super-exponential scaling is both necessary and sufficient for scalar MDS codes to achieve the cut-set bound using linear repair schemes. For the case of multiple nodes, we construct a family of RS codes that achieve the cut-set bound universally for the repair of any $h=2,3,\dots$ failed nodes from any subset of $d$ helper nodes, $k\le d\le n-h.$ For a fixed number of parities $r$ the node size of the constructed codes is close to the smallest possible node size for codes with such properties.

연구 동기 및 목표

• 재해 복구 대역폭과 이론적 컷세트 경계 사이의 격차를 해소하기 위해 Reed-Solomon으로 코딩된 분산 스토리지 시스템에서의 실용적 복구 대역폭 향상.
• 단일 또는 다중 실패한 노드를 복구하기 위해 컷세트 경계를 만족하는 명시적 스칼라 MDS 코드의 구성.
• 선형 복구 방식을 사용할 때 스칼라 MDS 코드가 최적 복구를 달성하기 위해 필요한 최소 서브패키지화 수준 $ l $ 의 결정.
• 모든 수의 실패한 노드 $ h \geq 2 $, 모든 도우미 집합 크기 $ d \in [k, n-h] $, 모든 허용 가능한 매개변수에 대해 작동하는 통합 최적 복구 방식 제공.
• 노드 크기 $ l $ 에 대한 엄밀한 하한 및 상한을 설정하여, 스칼라 MDS 코드가 컷세트 경계를 달성하기 위해 초지수적 스케일링이 필수적이고 충분함을 입증.

제안 방법

• 길이 $ n $ 의 Reed-Solomon 코드를 $ \mathbb{F}_{q^l} $ 에서 구성하며, $ l = \exp((1+o(1))n\log n) $ 이 되도록 하여 단일 노드 복구에 대해 컷세트 경계를 달성한다.
• 알제브라적 함수 필드에 기반한 계층적 체계 타워 구조를 사용하여 최소 대역폭을 갖는 선형 복구를 가능하게 한다.
• 각 도우미 노드가 중간 체계의 부분공간 기저를 기반으로 신중히 선택된 선형 조합의 기호를 전송하는 선형 복구 방식을 적용한다.
• 실패한 노드 수에 대한 귀납법을 통해 최적성을 증명하며, 복구 부분공간의 차원이 컷세트 경계와 일치함을 보인다.
• 실패한 노드 $ i $ 개에서 기인한 기호가 생성하는 복구 부분공간에 대한 기저 구성 $ B_i $ 를 도입하여 최소 통신량을 확보한다.
• 체 확장과 곱셈 생성자를 사용하여 도우미 노드 간 전송 기호의 선형 독립성과 최소 겹침을 보장한다.

실험 결과

연구 질문

• RQ1 스칼라 Reed-Solomon 코드를 구성하여 단일 노드 복구에서 최소 서브패키지화를 달성하면서 컷세트 경계를 충족시킬 수 있는가?
• RQ2 선형 복구 방식을 사용할 때 스칼라 MDS 코드가 최적 복구 대역폭을 달성하기 위해 필요한 최소 노드 크기 $ l $ 는 얼마인가?
• RQ3 모든 실패한 노드 수 $ h \geq 2 $ 와 모든 $ d \geq k $ 의 도우미 노드 수에서 컷세트 경계를 만족하는 단일 코드를 설계할 수 있는가?
• RQ4 다중 손실에 대해 복구 대역폭을 이론적 하한까지 최소화하면서도 코드의 유연성은 손상 없이 달성할 수 있는가?
• RQ5 최적 복구를 위해 필드 크기가 코드 길이 $ n $ 과 패리티 수 $ r $ 과 어떻게 스케일링되는가?

주요 결과

• 논문은 길이 $ n $ 의 Reed-Solomon 코드를 $ \mathbb{F}_{q^l} $ 에서 구성하며, $ l = \exp((1+o(1))n\log n) $ 이 되도록 하여 단일 노드 복구에서 컷세트 경계를 달성한다.
• 이론적으로 거의 일치하는 $ l $ 의 하한을 증명하며, 스칼라 MDS 코드가 선형 복구 방식을 사용할 때 컷세트 경계를 달성하기 위해 초지수적 스케일링이 필수적이고 충분함을 입증한다.
• 다중 손실의 경우, 모든 $ h \geq 2 $ 개의 실패한 노드와 모든 $ d \in [k, n-h] $ 의 도우미 노드에 대해 컷세트 경계를 만족하는 RS 코드의 가족을 구성한다.
• 다중 손실에 대한 구성된 코드의 노드 크기는 점근적으로 최적이며, 이러한 코드에 대해 가능한 최소 크기에 가까이 접근한다.
• 복구 대역폭은 $ \frac{dhl}{d+h-k} $ 로 최소화되어 이론적 컷세트 경계와 정확히 일치하며, 여유분이나 비효율성으로 인한 손실이 없다.
• 구성은 최소 통신량과 복구 부분공간 내 최대 선형 독립성을 보장하는 새로운 체계 타워와 기저 선택 전략에 의존한다.