[논문 리뷰] Storage codes -- coding rate and repair locality

Henk D. L. Hollmann|arXiv (Cornell University)|2013. 01. 18.

Advanced Data Storage Technologies참고 문헌 19인용 수 4

한 줄 요약

이 논문은 기능적 복구 하에서 분산 스토리지 코드의 스토리지 오버헤드에 대한 새로운 정보이론적 하한을 확립한다. 수리 지역성 $ r $ 가 고정되어 있을 때, $ \alpha = \beta $ 이면 최대 코딩 속도 $ R $ 는 $ r/(r+1) $ 이하이며, $ \alpha = r\beta $ 이면 $ 1/2 $ 이하로 제한된다. 이러한 하한은 날카롭고, 기존의 MDS 및 정확한 복구 코드에 대한 알려진 한계를 일반화한다.

ABSTRACT

The {\em repair locality} of a distributed storage code is the maximum number of nodes that ever needs to be contacted during the repair of a failed node. Having small repair locality is desirable, since it is proportional to the number of disk accesses during repair. However, recent publications show that small repair locality comes with a penalty in terms of code distance or storage overhead if exact repair is required. Here, we first review some of the main results on storage codes under various repair regimes and discuss the recent work on possible (information-theoretical) trade-offs between repair locality and other code parameters like storage overhead and code distance, under the exact repair regime. Then we present some new information theoretical lower bounds on the storage overhead as a function of the repair locality, valid for all common coding and repair models. In particular, we show that if each of the $n$ nodes in a distributed storage system has storage capacity $\ga$ and if, at any time, a failed node can be {\em functionally} repaired by contacting {\em some} set of $r$ nodes (which may depend on the actual state of the system) and downloading an amount $\gb$ of data from each, then in the extreme cases where $\ga=\gb$ or $\ga = r\gb$, the maximal coding rate is at most $r/(r+1)$ or 1/2, respectively (that is, the excess storage overhead is at least $1/r$ or 1, respectively).

연구 동기 및 목표

• 기능적 복구 하에서 분산 스토리지 시스템의 코딩 속도와 수리 지역성 간의 기본적인 상호관계를 조사한다.
• 일반적인 코딩 및 수리 모델에 대해 유효한 수리 지역성 $ r $ 에 따라 스토리지 오버헤드에 대한 정보이론적 하한을 도출한다.
• 기존 구축 방법과 이론적 한계 사이의 격차를 메우기 위해 $ \alpha = \beta $ 와 $ \alpha = r\beta $ 의 극한 경우에서 날카로운 하한을 증명한다.
• 기존의 컷셋 하한 프레임워크를 확장하여 노드 수리 중에 수리 세트 선택을 적응적으로 가능하게 하여, KILLER와 BUILDER 간의 게임 이론적 상호작용을 모델링한다.
• 변동 가능한 수리 세트 선택을 고려한 기능적 복구 하에서 최대 달성 가능한 코딩 속도 $ R = m/(n\alpha) $ 에 대한 날카로운 상한을 제공한다.

제안 방법

• 수리 과정을 KILLER(노드를 파손하는 자)와 BUILDER(살아 있는 $ r $ 개의 노드를 접촉하여 새로운 노드를 생성하는 자) 간의 게임으로 수리하여 정보 흐름 네트워크를 모델링한다.
• 변화하는 정보 흐름 그래프에 대해 최대 유량 최소 컷 원리를 적용하여 저장 가능한 최대 정보량 $ m $ 에 대한 상한을 유도한다.
• 문헌 [4] 의 컷셋 하한 프레임워크를 사용하지만, 복구 중에 수리 세트를 적응적으로 선택할 수 있도록 확장한다. 즉, $ r $ 개의 보조 노드 집합을 동적으로 선택할 수 있다.
• $ \alpha = \beta $ 와 $ \alpha = r\beta $ 의 두 극한 경우에서 최대 코딩 속도 $ R = m/(n\alpha) $ 에 대한 하한을 게임 이론적 분석을 통해 도출한다.
• $ \alpha = \beta $ 인 경우 $ R \leq r/(r+1) $ 이고, $ \alpha = r\beta $ 인 경우 $ R \leq 1/2 $ 이며, 이 하한은 기존의 구축 방법으로 등호가 성립함을 증명한다.
• $ r = 2 $ 인 경우를 일반화하여 더 날카로운 하한 $ R \leq (\alpha + \beta)/(3\alpha) $ 를 도출하고, $ n = 3q - e $ 일 때 $ m \leq q\alpha + (q-e)\beta $ 라는 정확한 표현을 제공한다.

실험 결과

연구 질문

• RQ1 기능적 복구와 수리 지역성 $ r $ 이 있는 분산 스토리지 시스템에서, 노드당 스토리지 $ \alpha $ 와 보조 노드당 수리 대역폭 $ \beta $ 가 제약을 받을 때 최대 달성 가능한 코딩 속도 $ R $ 은 무엇인가?
• RQ2 극한 조건인 $ \alpha = \beta $ 와 $ \alpha = r\beta $ 에서 코딩 속도 $ R $ 은 어떻게 변화하며, 이러한 하한은 날카로운가?
• RQ3 커트셋 하한은 적응형 수리 세트 선택(즉, $ r $ 개의 보조 노드를 동적으로 선택하는 것)을 허용하도록 일반화될 수 있는가? 이는 속도 하한에 어떤 영향을 미치는가?
• RQ4 기능적 복구 시스템에서 수리 지역성 $ r $, 스토리지 오버헤드, 코드 거리 사이에 기본적인 상충 관계가 존재하는가?
• RQ5 기능적 복구와 가변 보조 세트를 포함한 모든 일반적인 코딩 및 수리 모델에 대해 유효한 정보이론적 하한을 도출할 수 있는가?

주요 결과

• $ \alpha = \beta $ 인 경우 최대 코딩 속도는 $ R \leq r/(r+1) $ 로 제한되며, 이 하한은 날카롭고, $ n = r + 1 $ 인 정확한 복구 MDS 코드로 달성 가능하다.
• $ \alpha = r\beta $ 인 경우 최대 코딩 속도는 $ R \leq 1/2 $ 로 제한되며, 이 하한은 날카롭고, 전송 기반 정확한 복구 선형 코드로 달성 가능하다.
• $ r = 2 $ 일 경우 코딩 속도는 $ R \leq (\alpha + \beta)/(3\alpha) $ 를 만족하며, $ n = 3q - e $ 이고 $ e \in \{0,1,2\} $ 일 때 최대 저장 정보는 $ m \leq q\alpha + (q - e)\beta $ 이다.
• 이 하한은 정보이론적으로 날카롭고, 수리 세트가 고정되어 있든 적응적으로 선택되든 간에 모든 기능적 복구 모델에 대해 유효하다.
• 이전 연구를 일반화하여, 수리 지역성과 코딩 속도의 상충 관계는 적응적 보조 노드 선택 조건에서도 정보 흐름 네트워크의 구조에 의해 본질적으로 제한됨을 보여준다.
• KILLER와 BUILDER 간의 게임 이론적 모델은 유도된 하한이 최적의 적대적 노드 장애와 적응적 수리 조건 하에서 어떤 정보 흐름 네트워크의 최악의 경우 용량을 나타냄을 확인한다.