[논문 리뷰] Explicit constructions of MSR codes for clustered distributed storage: The rack-aware storage model

Zitan Chen, Alexander Barg|arXiv (Cornell University)|2019. 01. 14.

Advanced Data Storage Technologies참고 문헌 26인용 수 7

한 줄 요약

이 논문은 노드가 랙으로 그룹화되고 랙 간 통신을 최소화하는 클러스터링된 분산 스토리지 시스템을 위한 최소 저장 재생(MSR) 코드의 명시적 구성법을 제시한다. 저자들은 최적의 복구 대역폭과 액세스를 달성하는 작은 유한체 위에서 MDS 어레이 코드를 설계하였으며, 보조 노드에서 액세스하는 심볼 수에 대한 날카운 경계를 도출하고, 이러한 경계에 가까운 구성법을 제시함으로써, 랙 인식 스토리지 아키텍처에서 효율적이고 확장 가능한 데이터 복구를 가능하게 한다.

ABSTRACT

The paper is devoted to the problem of erasure coding in distributed storage. We consider a model of storage that assumes that nodes are organized into equally sized groups, called racks, that within each group the nodes can communicate freely without taxing the system bandwidth, and that the only information transmission that counts is the one between the racks. This assumption implies that the nodes within each of the racks can collaborate before providing information to the failed node. The main emphasis of the paper is on code construction for this storage model. We present an explicit family of MDS array codes that support recovery of a single failed node from any number of helper racks using the minimum possible amount of inter-rack communication (such codes are said to provide optimal repair). The codes are constructed over finite fields of size comparable to the code length. We also derive a bound on the number of symbols accessed at helper nodes for the purposes of repair, and construct a code family that approaches this bound, while still maintaining the optimal repair property. Finally, we present a construction of scalar Reed-Solomon codes that support optimal repair for the rack-oriented storage model.

연구 동기 및 목표

• 클러스터링된 노드 구조를 가진 분산 스토리지 시스템에서 랙 간 통신을 최소화하는 문제에 대응하기 위해.
• 랙 인식 모델에서 단일 노드 장애 시 최적의 복구를 지원하는 명시적 MDS 어레이 코드의 구성법을 개발하기 위해.
• 복구 중 보조 노드에서 액세스하는 심볼 수에 대한 이론적 하한을 유도하고, 이러한 하한에 접근하는 구성법을 도출하기 위해.
• 랙 인식 스토리지 모델 하에서 최적의 복구를 지원하는 스칼라 리드-솔로몬 코드의 구성법을 제시하기 위해.

제안 방법

• 저자들은 노드가 동일한 크기의 랙으로 그룹화되고 랙 내부 통신이 대역폭 비용이 없는 랙 인식 스토리지 모델을 도입한다.
• 유한체의 크기가 코드 길이와 유사한 수준인 곳에서 명시적 MDS 어레이 코드를 구성하여, 최적의 복구와 최소한의 랙 간 대역폭을 확보한다.
• 메서드는 보조 노드에서 액세스하는 심볼 수를 최소화하는 복구 행렬을 설계하는 것으로 구성되며, 부분공간 차원 분석과 조합론적 경계를 활용한다.
• 핵심 기법은 복구 행렬에 의해 생성된 부분공간의 교차점의 차원을 제한하여 액세스하는 심볼 수에 대한 하한을 도출하는 것이다.
• 구성법은 MDS 코드의 구조와 행렬 변환을 활용하여, 보조 랙 선택에 관계없이 최적의 복구를 보장한다.
• 스칼라 리드-솔로몬 코드의 경우, 프레임워크를 변형하여 동일한 랙 인식 제약 조건 하에서 최적의 복구를 달성한다.

실험 결과

연구 질문

• RQ1 랙 인식 분산 스토리지 시스템에서 단일 장애 노드를 복구하기 위해 필요한 최소한의 랙 간 통신은 얼마인가?
• RQ2 어떻게 하면 이러한 모델에서 최적의 복구 대역폭을 달성하는 명시적 MDS 어레이 코드를 구성할 수 있는가?
• RQ3 보조 노드에서 복구 중 액세스하는 심볼 수에 대한 이론적 하한은 무엇이며, 구성법이 이 하한에 접근할 수 있는가?
• RQ4 스칼라 리드-솔로몬 코드는 랙 인식 스토리지 모델에서 최적의 복구를 지원하도록 적응시킬 수 있는가?
• RQ5 보조 랙 선택의 구조는 복구 효율성과 코드 설계에 어떤 영향을 미치는가?

주요 결과

• 논문은 코드 길이와 유사한 크기의 유한체 위에서, 랙 인식 모델에서 단일 노드 장애 시 최적의 복구 대역폭을 달성하는 명시적 MDS 어레이 코드의 가족을 구성한다.
• 보조 노드에서 액세스하는 심볼 수에 대한 이론적 경계를 도출하였으며, 이 경계에 가까운 코드 가족을 구성함으로써 최적의 복구를 유지한다.
• 시스템 랙 복구의 경우, 액세스하는 심볼 수의 하한이 $ \bar{s}^{\frac{\bar{n}-1}{s}} $ 이상임을 보여주며, 여기서 $ s = \bar{s}u $ 이고 $ \bar{s} $ 는 랙당 노드 수이다.
• 패리티 랙 복구의 경우에도 동일한 하한이 적용되며, 구성법은 보조 랙 구성에 관계없이 최적의 복구를 보장한다.
• 결과는 최적의 복구가 시스템 노드 뿐 아니라 패리티 노드의 경우에도 행렬 기반 변환과 부분공간 분석을 통해 달성될 수 있음을 보여준다.
• 프레임워크는 MDS 어레이 코드와 스칼라 리드-솔로몬 코드 모두를 지원하며, 후자는 랙 인식 환경에서 최적의 복구를 유지하도록 명시적으로 구성된다.