[논문 리뷰] Optimal Repair of MDS Codes in Distributed Storage via Subspace Interference Alignment

Viveck R. Cadambe, Cheng Zhi Huang외 2명|arXiv (Cornell University)|2011. 06. 07.

Advanced Data Storage Technologies참고 문헌 22인용 수 52

한 줄 요약

이 논문은 분산 스토리지 시스템에서 MDS 코드의 최적 수리(repair)를 위한 최초의 유한 코드 구축을 제안하며, 단일 디스크 장애 시 이론적 최소 수리 대역폭인 $\frac{n-1}{n-k}$ 단위를 달성한다. 순열 행렬과 새로운 부분공간 간섭 정렬 프레임워크를 활용하여, 최소한의 데이터 다운로드와 효율적인 디스크 액세스를 가능하게 하여, 임의의 $n$과 $k$에 대해 오랫동안 남아 있던 열린 문제를 해결한다.

ABSTRACT

It is well known that an (n,k) code can be used to store 'k' units of information in 'n' unit-capacity disks of a distributed data storage system. If the code used is maximum distance separable (MDS), then the system can tolerate any (n-k) disk failures, since the original information can be recovered from any k surviving disks. The focus of this paper is the design of a systematic MDS code with the additional property that a single disk failure can be repaired with minimum repair bandwidth, i.e., with the minimum possible amount of data to be downloaded for recovery of the failed disk. Previously, a lower bound of (n-1)/(n-k) units has been established by Dimakis et. al, on the repair bandwidth for a single disk failure in an (n,k) MDS code . Recently, the existence of asymptotic codes achieving this lower bound for arbitrary (n,k) has been established by drawing connections to interference alignment. While the existence of asymptotic constructions achieving this lower bound have been shown, finite code constructions achieving this lower bound existed in previous literature only for the special (high-redundancy) scenario where $k \leq \max(n/2,3)$. The question of existence of finite codes for arbitrary values of (n,k) achieving the lower bound on the repair bandwidth remained open. In this paper, by using permutation coding sub-matrices, we provide the first known finite MDS code which achieves the optimal repair bandwidth of (n-1)/(n-k) for arbitrary (n,k), for recovery of a failed systematic disk. We also generalize our permutation matrix based constructions by developing a novel framework for repair-bandwidth-optimal MDS codes based on the idea of subspace interference alignment - a concept previously introduced by Suh and Tse the context of wireless cellular networks.

연구 동기 및 목표

• 분산 스토리지 시스템에서 단일 디스크 장애 시 이론적 하한선에 도달하는 수리 대역폭을 갖는 유한 MDS 코드를 구축하는 열린 문제를 해결하기 위해.
• 최소한의 데이터 다운로드로 정확한 수리를 가능하게 하면서도, 낮은 계산 및 액세스 오버헤드를 유지하는 체계적 MDS 코드를 설계하기 위해.
• 기존의 점점 가까이 다가오는 점근적 구축 방식을 임의의 $n$과 $k$에 대해 유한 코드로 일반화하여 고중복성 및 저중복성 영역 모두에 적용하기 위해.
• MDS 코딩된 스토리지 시스템에서 최적 수리를 달성하기 위한 부분공간 간섭 정렬 기반의 새로운 프레임워크를 구축하기 위해.
• 제안된 코드가 MDS 성질을 유지하면서도, 구조적 순열 행렬을 통해 효율적인 수리를 가능하게 하는지 검증하기 위해.

제안 방법

• 체계적 및 패리티 데이터를 인코딩하기 위해 순열 행렬을 사용하여 MDS 코드를 구축하며, 임의의 $k$ 노드에서 전체 랭크 복구를 보장한다.
• 무선 간섭 정렬에서 영감을 얻은 부분공간 간섭 정렬 프레임워크를 활용하여, 수리 과정에서 간섭을 정렬한다.
• 복구 행렬의 행렬식이 항상 비영이 되도록 보장하기 위해, 구조적 고유값 성질을 가진 블록 행렬을 사용한다.
• 서로 교환 가능한 블록 행렬에 대해 원소별 행렬식 전개를 적용하여, 다양한 노드 장애 상황에서의 복구 행렬의 전체 랭크를 검증한다.
• 새로운 노드가 $n-1$개의 생존 노드에서 최적화된 데이터 액세스 패턴을 통해 정확히 $\frac{n-1}{n-k}$ 단위의 데이터를 다운로드함으로써 수리 전략을 구현한다.
• 순열 행렬 곱의 고유값 분석을 통해 여러 실패 상황($e.g., n-k=2$, $n-k=3$)에서 MDS 성질을 검증한다.

실험 결과

연구 질문

• RQ1 임의의 $n$과 $k$에 대해, 단일 디스크 수리 시 이론적 최소 수리 대역폭인 $\frac{n-1}{n-k}$를 달성하는 유한 MDS 코드를 구축할 수 있는가?
• RQ2 간섭 정렬 원리를 어떻게 분산 스토리지 시스템에 적응시켜 최적 수리 대역폭을 달성할 수 있는가?
• RQ3 순열 행렬의 어떤 구조적 성질이 MDS 성질을 유지하면서도 효율적인 수리를 가능하게 하는가?
• RQ4 데이터 다운로드 외에도 디스크당 액세스되는 데이터 측면에서 수리 과정을 최적화할 수 있는가?
• RQ5 점근적 최적 수리 구축 방식을 효율성 손실 없이 유한 코드로 일반화할 수 있는가?

주요 결과

• 이 논문은 임의의 $n$과 $k$에 대해 이론적 하한선인 $\frac{n-1}{n-k}$ 수리 대역폭을 달성하는 최초의 알려진 유한 코드 구축 방식을 제시한다.
• 제안된 코드는 최소한의 데이터 다운로드로 정확한 수리를 가능하게 하며, 새로운 노드가 $n-1$개의 생존 노드에서 정확히 $\frac{n-1}{n-k}$ 단위의 데이터를 다운로드한다.
• 모든 복구 행렬이 전체 랭크를 가지며 MDS 성질을 유지하도록 보장하는 고유값 구조를 가진 순열 행렬을 사용한다.
• $n-k=2$의 경우, 순열 행렬 곱의 단위 세제곱근 고유값을 분석함으로써 MDS 성질을 증명하며, 이는 영이 아닌 행렬식을 보장한다.
• $n-k=3$의 경우, 서로 교환 가능한 블록을 가진 블록 바르데모네 행렬 구조를 사용하여 전체 랭크를 증명하며, $\lambda_i$ 값들이 상이함에 따라 영이 아닌 행렬식을 확보한다.
• 수리 과정은 대역폭 최적화뿐만 아니라, 순열 기반 설계로 인해 유도된 구조적 액세스 패턴 덕분에 디스크당 액세스되는 데이터 측면에서도 효율적이다.