[논문 리뷰] Explicit Codes Minimizing Repair Bandwidth for Distributed Storage

Nihar B. Shah, K. V. Rashmi외 2명|ArXiv.org|2009. 08. 20.

Advanced Data Storage Technologies참고 문헌 2인용 수 5

한 줄 요약

이 논문은 $\beta=1$일 때 체계적 노드 복구의 이론적 하한을 달성함으로써 복구 대역폭을 최소화하는 명시적이고 최적의 정확한 재생 코드를 제안한다. 이 방식은 간섭 정렬을 사용하는 그룹 기반 코딩 구조를 활용하여 $d\beta = \alpha + (k-1)$를 만족하는 정확한 재생을 가능하게 하며, $d \geq 2k-1$일 때 최적성을 증명하고 $d \geq 2k-3$일 때 존재성을 보이며, $d \leq 2k-4$일 때는 비트리비얼 케이스를 제외하고는 하한을 달성할 수 없음을 보여준다.

ABSTRACT

We consider the setting of data storage across n nodes in a distributed manner. A data collector (DC) should be able to reconstruct the entire data by connecting to any k out of the n nodes and downloading all the data stored in them. When a node fails, it has to be regenerated back using the existing nodes. In a recent paper, Wu et al. have obtained an information theoretic lower bound for the repair bandwidth. Also, there has been additional interest in storing data in systematic form as no post processing is required when DC connects to k systematic nodes. Because of their preferred status there is a need to regenerate back any systematic node quickly and exactly. Replacement of a failed node by an exact replica is termed Exact Regeneration.In this paper, we consider the problem of minimizing the repair bandwidth for exact regeneration of the systematic nodes. The file to be stored is of size B and each node can store alpha = B/k units of data. A failed systematic node is regenerated by downloading beta units of data each from d existing nodes. We give a lower bound for the repair bandwidth for exact regeneration of the systematic nodes which matches with the bound given by Wu et al. For d >= 2k-1 we give an explicit code construction which minimizes the repair bandwidth when the existing k-1 systematic nodes participate in the regeneration. We show the existence and construction of codes that achieve the bound for d >= 2k-3. Here we also establish the necessity of interference alignment. We prove that the bound is not achievable for d <= 2k-4 when beta=1. We also give a coding scheme which can be used for any d and k, which is optimal for d >= 2k-1.

연구 동기 및 목표

• 분산 스토리지 시스템에서 체계적 노드의 정확한 재생을 위한 복구 대역폭을 최소화한다.
• $\beta=1$일 때 복구 대역폭의 이론적 하한을 달성하는 명시적 코드를 구축한다.
• 복구 대역폭의 하한이 달성 가능한지 여부를 결정하는 조건을 규명한다.
• 일부 매개변수 영역에서 최적의 복구 대역폭을 달성하기 위해 간섭 정렬이 필수적인 이유를 규명한다.
• $d \geq 2k-1$일 때 최적이고 $d \geq 2k-3$일 때 구축 가능한 일반적인 코딩 체계를 제공한다.

제안 방법

• 체계적 노드를 $\alpha$개의 그룹으로 분할하고, 비체계적 노드를 다항식 기반 선형 함수를 사용하여 그룹에 할당하는 그룹 기반 코딩 구조를 제안한다.
• 노드 간 복구 시 발생하는 불필요한 간섭을 제거하기 위해 간섭 정렬을 적용하여 복구 벡터의 선형 독립성을 확보한다.
• 복구 및 재구성 조건을 비영 다항식 행렬식으로 모델링하여 정확한 재생과 데이터 수집을 보장한다.
• 모든 요구 조건을 만족하는 다항식이 0이 되지 않도록 하는 Koetter-Medard 알고리즘을 적용하여 코드의 존재성을 보장한다.
• 복구 대역폭의 하한 $d\beta \geq \alpha + (k-1)\beta$를 유도하며, 이는 트레이드오프 곡선상의 MSR 점과 일치한다.
• 명시적 코드를 $k \leq \alpha$ 및 $d \geq 2k-1$일 때 구축하고, $k \leq \alpha+2$ 및 $d \geq 2k-3$일 때 존재성을 증명한다.

실험 결과

연구 질문

• RQ1 명시적 코드를 구성하여 $\beta=1$일 때 체계적 노드의 정확한 재생을 위한 복구 대역폭의 이론적 하한을 달성할 수 있는가?
• RQ2 $d$와 $k$의 어떤 값에서 $\beta=1$일 때 복구 대역폭의 하한이 달성 가능한가?
• RQ3 정확한 재생에서 최적의 복구 대역폭을 달성하기 위해 간섭 정렬이 수행하는 역할은 무엇인가?
• RQ4 $\beta=1$일 때 $d \leq 2k-4$인 경우 복구 대역폭의 하한이 달성 가능한가?
• RQ5 $d \geq 2k-1$일 때 최적이며 $d \geq 2k-3$일 때 구축 가능한 일반적인 코딩 체계를 설계할 수 있는가?

주요 결과

• $d \geq 2k-1$일 때 $k \leq \alpha$이면 하한 $d\beta \geq \alpha + (k-1)\beta$를 명시적 구성으로 달성할 수 있다.
• $d \geq 2k-3$일 때는 하한을 달성하는 명시적 코드가 존재하며, 이 영역에서는 간섭 정렬이 필수적이다.
• $\beta=1$일 때 $d \leq 2k-4$인 경우 하한은 달성할 수 없으며, $\alpha=1$인 경우를 제외하면 모든 $[n,k]$ MDS 코드가 하한을 달성한다.
• 그룹이 균일하게 나뉘는 경우 평균 복구 대역폭이 최소가 되며, 이때 $s = \lfloor k/\alpha \rfloor$이고 $k \bmod \alpha$개의 그룹은 크기가 $s+1$이다.
• 시뮬레이션 결과는 $d \geq 2k-1$일 때 이론적 하한을 충족하며, $k=9$일 때 기존의 그룹 간섭 정렬 기반 기법보다 우수한 성능을 보였다.
• 복구 대역폭은 $\gamma = (\eta-1)\alpha + (d - \eta + 1)$로 주어지며, 이때 $\eta$는 그룹 내 노드 수이고, 균일한 그룹 분포에서 최소화된다.