[논문 리뷰] Multi-Layer Transformed MDS Codes with Optimal Repair Access and Low Sub-Packetization

Hanxu Hou, Patrick P. C. Lee외 1명|arXiv (Cornell University)|2019. 07. 21.

Advanced Data Storage Technologies참고 문헌 32인용 수 10

한 줄 요약

이 논문은 기존 구축 방식에 비해 하위패킷화 수준을 크게 감소시켜, 어떤 단일 노드에 대해서도 최적의 수리 액세스를 달성하는 다층 변환 MDS 코드를 제안한다. 반복적으로 새로운 변환 기법을 적용함으로써, 특정 매개변수 값이 1을 초과할 경우 기존 알려진 이론적 하한선 이하의 하위패킷화 수준을 갖는 코드를 설계하였으며, 이는 고속도 분산 저장 시스템에서의 효율성을 크게 향상시킨다.

ABSTRACT

An $(n,k)$ maximum distance separable (MDS) code has optimal repair access if the minimum number of symbols accessed from $d$ surviving nodes is achieved, where $k+1\le d\le n-1$. Existing results show that the sub-packetization $α$ of an $(n,k,d)$ high code rate (i.e., $k/n>0.5$) MDS code with optimal repair access is at least $(d-k+1)^{\lceil\frac{n}{d-k+1} ceil}$. In this paper, we propose a class of multi-layer transformed MDS codes such that the sub-packetization is $(d-k+1)^{\lceil\frac{n}{(d-k+1)η} ceil}$, where $η=\lfloor\frac{n-k-1}{d-k} floor$, and the repair access is optimal for any single node. We show that the sub-packetization of the proposed multi-layer transformed MDS codes is strictly less than the existing known lower bound when $η=\lfloor\frac{n-k-1}{d-k} floor>1$, achieving by restricting the choice of $d$ specific helper nodes in repairing a failed node. We further propose multi-layer transformed EVENODD codes that have optimal repair access for any single node and lower sub-packetization than the existing binary MDS array codes with optimal repair access for any single node. With our multi-layer transformation, we can design new MDS codes that have the properties of low computational complexity, optimal repair access for any single node, and relatively small sub-packetization, all of which are critical for maintaining the reliability of distributed storage systems.

연구 동기 및 목표

• 고속도 MDS 코드에서 최적의 수리 액세스를 갖는 데 있어 높은 하위패킷화 수준이 분산 저장 시스템에 대한 실용적 구현을 저해하는 문제를 해결하기 위해.
• 모든 단일 노드에 대해 최적의 수리 액세스를 유지하면서 하위패킷화 수준을 낮추는 것, 이는 노드 수리 시 I/O를 최소화하는 데 필수적인 조건이다.
• 일반 MDS 코드와 이진 MDS 어레이 코드(예: EVENODD)에 모두 적용 가능한 변환 프레임워크를 개발하여 낮은 하위패킷화 수준과 최적의 수리 액세스를 달성하기 위해.
• 특정 매개변수 조건 하에서 제안된 코드가 알려진 이론적 하한선 이하의 하위패킷화 수준을 달성함을 입증하기 위해.
• 실세계 분산 저장 시스템에서 실용적으로 구현 가능한 고속도 MDS 코드를 구현하기 위해 계산 복잡도가 낮고 효율적인 수리 기능을 제공하기 위해.

제안 방법

• 수리 시 도우미 노드 선택을 제한함으로써 $(d-k+1)\eta$개의 노드 그룹에 대해 최적의 수리 액세스를 가능하게 하는 다층 변환 기법을 도입한다.
• 모든 $n$개의 노드에 대해 최적의 수리 액세스를 확장하기 위해 변환 기법을 $\lceil n/(\eta t) \rceil$번 적용한다.
• 하위패킷화 수준을 $(d-k+1)^{\lceil n / (\eta(d-k+1)) \rceil}$로 정의하며, 여기서 $\eta = \lfloor (n-k-1)/(d-k) \rfloor$로, 이는 변환 깊이와 효율성을 결정한다.
• EVENODD 코드를 기본으로 하여 변환 기법을 이진 MDS 어레이 코드에 적응시켜 $\mathsf{EVENODD}_{\lceil n/(\eta t) \rceil}(n,k,\eta,t)$ 코드를 도출하며, 이는 최적의 수리 액세스를 갖는다.
• 도우미 노드 선택의 구조를 활용하여 I/O를 최소화하면서도 MDS 성질과 수리 대역폭 최적성은 유지한다.
• 특히 $\eta > 1$일 경우 하위패킷화 수준이 알려진 하한선 $(d-k+1)^{\lceil n/(d-k+1) \rceil}$보다 엄격히 낮음을 증명함으로써, 성능 향상의 중요성을 입증한다.

실험 결과

연구 질문

• RQ1 고속도 MDS 코드에서 최적의 수리 액세스를 갖는 데 있어 하위패킷화 수준을 기존 알려진 이론적 하한선 이하로 낮출 수 있는가?
• RQ2 어떤 변환 메커니즘이 일부 노드에 대해 최적의 수리 액세스를 가능하게 하고, 이를 반복하여 모든 노드를 커버할 수 있는가?
• RQ3 매개변수 $\eta = \lfloor (n-k-1)/(d-k) \rfloor$가 달성 가능한 하위패킷화 수준과 수리 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 변환 기법을 EVENODD와 같은 이진 MDS 어레이 코드에 적응시켜 더 낮은 하위패킷화 수준과 최적의 수리 액세스를 달성할 수 있는가?
• RQ5 제안된 코드에서 하위패킷화 수준, 수리 액세스 효율성, 계산 복잡도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 다층 변환 MDS 코드는 하위패킷화 $\alpha = (d-k+1)^{\lceil n / (\eta(d-k+1)) \rceil}$를 갖는다. 여기서 $\eta = \lfloor (n-k-1)/(d-k) \rfloor$이며, 모든 단일 노드에 대해 최적의 수리 액세스를 달성한다.
• 특히 $\eta > 1$일 경우 하위패킷화 수준이 알려진 하한선 $(d-k+1)^{\lceil n/(d-k+1) \rceil}$보다 엄격히 낮으며, 이는 효율성 향상의 돌풍과 같은 돌풍을 이룬다.
• $(n,k,d) = (14,10,11)$인 경우, 제안된 코드는 $\alpha = 8$을 달성하며, 이는 기존 코드의 $128$에 비해 16배 감소한 것이다.
• $(80,71,72)$인 경우, 제안된 코드는 $\alpha = 1024$를 달성하지만, 기존 코드는 $2^{40} \approx 1.1 \times 10^{12}$의 하위패킷화 수준을 요구하여, 수십억 배의 감소를 이룬다.
• 제안된 $\mathsf{EVENODD}_{\lceil n/(\eta t) \rceil}$ 코드는 이전 연구에서 제안된 변환 EVENODD 코드보다 더 낮은 하위패킷화 수준을 달성한다. 이전 연구의 경우 $\alpha = (d-k+1)^{\lceil n/(d-k+1) \rceil}$였다.
• 이 방법은 하위패킷화 $\alpha = (d-k+1)^{\lceil w / (\eta(d-k+1)) \rceil}$로 $w$개의 노드에 대해 최적의 수리 액세스를 가능하게 하며, $\eta > 1$일 경우 알려진 하한선 $\geq (d-k+1)^{\lceil w/(d-k+1) \rceil}$ 이하가 된다.