[논문 리뷰] Distributed Data Storage with Minimum Storage Regenerating Codes - Exact and Functional Repair are Asymptotically Equally Efficient

Viveck R. Cadambe, Syed A. Jafar외 1명|arXiv (Cornell University)|2010. 04. 24.

Advanced Data Storage Technologies참고 문헌 9인용 수 58

한 줄 요약

이 논문은 최소 저장 재생(MSR) 코드를 사용하는 분산 스토리지 시스템에서, 파일 크기 M이 무한대에 가까워질 때, 코드 매개변수 (n,k)와 관계없이 실패한 노드의 정확한 복구가 기능적 복구와 동일한 渐近적으로 최적의 복구 대역폭을 달성함을 증명한다. 저자들은 무선 네트워크에서의 渐近적으로 최적의 간섭 정렬 기법을 응용하여, 단위 데이터당 복구 대역폭이 $\frac{n-1}{k(n-k)}$로 수렴함을 보이며, 이는 대규모 파일 환경에서 정확한 복구에 이론적 손해가 없음을 의미한다.

ABSTRACT

We consider a set up where a file of size M is stored in n distributed storage nodes, using an (n,k) minimum storage regenerating (MSR) code, i.e., a maximum distance separable (MDS) code that also allows efficient exact-repair of any failed node. The problem of interest in this paper is to minimize the repair bandwidth B for exact regeneration of a single failed node, i.e., the minimum data to be downloaded by a new node to replace the failed node by its exact replica. Previous work has shown that a bandwidth of B=[M(n-1)]/[k(n-k)] is necessary and sufficient for functional (not exact) regeneration. It has also been shown that if k < = max(n/2, 3), then there is no extra cost of exact regeneration over functional regeneration. The practically relevant setting of low-redundancy, i.e., k/n>1/2 remains open for k>3 and it has been shown that there is an extra bandwidth cost for exact repair over functional repair in this case. In this work, we adopt into the distributed storage context an asymptotically optimal interference alignment scheme previously proposed by Cadambe and Jafar for large wireless interference networks. With this scheme we solve the problem of repair bandwidth minimization for (n,k) exact-MSR codes for all (n,k) values including the previously open case of k > \max(n/2,3). Our main result is that, for any (n,k), and sufficiently large file sizes, there is no extra cost of exact regeneration over functional regeneration in terms of the repair bandwidth per bit of regenerated data. More precisely, we show that in the limit as M approaches infinity, the ratio B/M = (n-1)/(k(n-k))$.

연구 동기 및 목표

• 낮은 재현율을 갖는 분산 스토리지 시스템에서 정확한 복구가 기능적 복구보다 더 높은 복구 대역폭을 요구하는지 여부를 해결하는 것.
• 이전 연구에서 정확한 복구에 추가 비용이 발생하는 것으로 밝혀진 $k > \max(n/2, 3)$ 영역의 이해 격차를 해소하는 것.
• 대규모 분산 스토리지 환경에서 渐近적으로 최적의 간섭 정렬 기법을 응용하여 정확한 재생의 최소 복구 대역폭을 달성할 수 있음을 보여주는 것.
• 대규모 파일 환경에서 정확한 재생에 대한 최소 복구 대역폭이 기능적 복구의 하한선과 일치함을 증명하는 것.

제안 방법

• 원래는 무선 간섭 채널에 대해 개발된 Cadambe-Jafar 간섭 정렬 기법을 분산 스토리지 환경에 적응 적용하는 것.
• 많은 수의 신호 전달 차원을 통해 선형 빔포밍을 사용하여 간섭을 정렬하고 복구 대역폭을 최소화하는 것.
• 건재한 노드로부터 데이터 다운로드를 나타내는 선형 방정식 시스템을 구성하여, 복구된 노드가 정확한 실패한 데이터를 재구성할 수 있도록 하는 것.
• 행렬 행렬식 분석을 통해 시스템 행렬의 전체 질서를 증명하고, 성공적인 정확한 복구를 보장하는 것.
• 시스템 행렬에 대해 행과 열의 순서를 재배치하여 블록 대각 행렬 형태를 드러내어 행렬식 분석을 단순화하는 것.
• 시스템 행렬의 행렬식이 독립적인 채널 계수에 대한 비영 다항식임을 보이며, 거의 확실히 비특이적 복구가 가능함을 의미하는 것.

실험 결과

연구 질문

• RQ1 분산 스토리지 시스템에서 정확한 복구는 기능적 복구에 비해 기본적인 대역폭 손실을 겪는가?
• RQ2 간섭 정렬 기법을 응용하여 모든 (n,k) 구성에 대해 정확한 재생에서 최적의 복구 대역폭을 달성할 수 있는가?
• RQ3 파일 크기가 증가함에 따라 정확한 재생의 복구 대역폭이 기능적 복구의 하한선으로 수렴하는가?
• RQ4 파일 크기 $k > \max(n/2, 3)$일 때 정확한 재생의 점점 커지는 대역폭은 얼마인가?

주요 결과

• 모든 (n,k)에 대해 충분히 큰 파일 크기 M일 때, 정확한 재생의 복구 대역폭은 기능적 재생과 渐近적으로 동일한 최소값을 달성한다.
• 단위 데이터당 복구 대역폭의 극한은 $\lim_{M\to\infty}\frac{B}{M} = \frac{n-1}{k(n-k)}$이며, 이는 기능적 복구의 하한선과 정확히 일치한다.
• 정확한 복구 대역폭의 渐近적 최적성은 많은 수의 신호 전달 차원에서 거의 완벽한 간섭 정렬을 통해 달성된다.
• 증명을 통해 정확한 복구의 시스템 행렬이 거의 확실히 전체 질서를 가지며, 성공적인 데이터 재구성 보장을 받는다.
• 재현율 수준과 관계없이, 이 결과는 이전 연구에서 정확한 복구에 손해가 있다고 보고한 낮은 재현율 영역에서도 성립한다.