[논문 리뷰] A Piggybacking Design Framework for Read-and Download-efficient Distributed Storage Codes

K. V. Rashmi, Nihar B. Shah외 1명|arXiv (Cornell University)|2013. 02. 24.

Advanced Data Storage Technologies참고 문헌 25인용 수 8

한 줄 요약

이 논문은 분산 스토리지 코드의 성능을 햖थ하여 노드 복구 시 데이터 읽기 및 다운로드를 최소화하는 피그백킹 프레임워크를 제안한다. 기존 코드의 여러 인스턴스를 조합하고, 각 인스턴스 간 데이터에 대한 철저히 설계된 함수를 추가함으로써, 데이터 읽기 및 다운로드를 최대 50% 감소시켜, 고비트레이트, 소형 서브스트립 설정에서 가장 효율적인 MDS 코드, 이진 MDS 코드, 그리고 저지역성 MDS 코드를 구현한다.

ABSTRACT

We present a new 'piggybacking' framework for designing distributed storage codes that are efficient in data-read and download required during node-repair. We illustrate the power of this framework by constructing classes of explicit codes that entail the smallest data-read and download for repair among all existing solutions for three important settings: (a) codes meeting the constraints of being Maximum-Distance-Separable (MDS), high-rate and having a small number of substripes, arising out of practical considerations for implementation in data centers, (b) binary MDS codes for all parameters where binary MDS codes exist, (c) MDS codes with the smallest repair-locality. In addition, we employ this framework to enable efficient repair of parity nodes in existing codes that were originally constructed to address the repair of only the systematic nodes. The basic idea behind our framework is to take multiple instances of existing codes and add carefully designed functions of the data of one instance to the other. Typical savings in data-read during repair is 25% to 50% depending on the choice of the code parameters.

연구 동기 및 목표

• 분산 스토리지 시스템에서 노드 복구 시 데이터 읽기 및 다운로드를 최소화하여 운영 비용을 절감하고 효율성을 향상시키는 데 있어 핵심적인 필요성을 해결한다.
• 데이터 센터 배포에 실용적인 조건을 충족시키기 위해 MDS이면서 고비트레이트이며, 서브스트립 수가 적은 명시적 스토리지 코드를 설계한다.
• 기존에 체계적 노드 복구 전용으로 최적화된 코드에서, 체계적 노드뿐만 아니라 패리티 노드의 효율적 복구도 가능하게 한다.
• 모든 실현 가능한 파rameter에 대해 최소한의 데이터 읽기 및 다운로드를 갖는 첫 번째 명시적 이진 MDS 코드를 구축한다.
• 고비트레이트와 낮은 스토리지 오버헤드를 유지하면서 MDS 코드에서 복구 지역성을 최소화한다.

제안 방법

• 기존 기본 코드(예: MDS 코드)의 여러 인스턴스를 조합하고, 한 인스턴스의 데이터에 대한 함수를 다른 인스턴스의 심볼에 추가함으로써 새로운 코드를 구성한다.
• 선형 조합(예: 데이터 심볼의 가중합)을 사용하여 피그백킹 함수를 설계함으로써, 최소 거리나 운영 필드를 변경하지 않으면서도 효율적 복구를 가능하게 한다.
• 기존의 복구 가능한 코드의 구조를 활용하여, 체계적 노드와 다른 패리티 노드로부터의 데이터를 피그백킹함으로써 패리티 노드 복구를 효율적으로 구현한다.
• EVENODD, RDP, 그리고 복구 최적화된 복구 가능한 코드와 같은 기존 코드에 프레임워크를 적용하여 패리티 복구 효율성을 향상시킨다.
• 패리티 노드를 그룹(예: 크기 ⌊r/√(k+1)⌋)으로 나누는 전략을 적용하여 패리티 노드 간 평균 복구 부하를 최적화한다.
• 완전 질량 인코딩 행렬을 유지하고, 임의의 k개 노드가 전체 메시지를 복구할 수 있음을 확인함으로써 MDS 성질이 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 MDS 또는 이진 성질을 훼손하지 않고, 노드 복구 시 데이터 읽기 및 다운로드를 줄일 수 있는 일반적 프레임워크를 설계할 수 있는가?
• RQ2 체계적 설계 접근법을 사용할 때, 고비트레이트, 소형 서브스트립 MDS 코드에서 데이터 읽기 및 다운로드의 최대 감소율은 얼마인가?
• RQ3 기존에 체계적 노드 복구 전용으로 설계된 코드에서 패리티 노드의 효율적 복구를 가능하게 할 수 있는가?
• RQ4 최소 거리 및 필드 크기 등의 코드 성질을 유지하면서 복구 부하를 최소화하는 최적의 피그백킹 함수 설계는 무엇인가?
• RQ5 프레임워크를 사용하여 최소한의 복구 대역폭과 데이터 읽기를 갖는 명시적 이진 MDS 코드를 구축할 수 있는가?

주요 결과

• 피그백킹 프레임워크는 복구 시 데이터 읽기 및 다운로드를 최대 50% 감소시키며, 코드 파rameter에 따라 25–50%의 절감 효과를 기록한다.
• 고비트레이트, 소형 서브스트립 MDS 코드의 경우, 프레임워크는 복구 시 알려진 바에 비해 가장 낮은 평균 데이터 읽기량을 갖는 코드를 구축하여 Rotated-RS 및 EVENODD와 같은 기존 솔루션을 능가한다.
• 프레임워크는 모든 실현 가능한 파rameter에 대해 최소한의 복구 대역폭과 데이터 읽기를 갖는 명시적 이진 MDS 코드의 구축을 가능하게 한다.
• 기존 복구 가능한 코드에서 패리티 노드 복구의 평균 다운로드 및 읽기량을 2kμ에서 약 (2k + 2)/3k μ로 감소시켜, 예시 사례에서 33%의 절감을 달성한다.
• 패리티 노드를 그룹으로 나누고 그룹별로 피그백킹을 적용함으로써, 패리티 노드의 평균 복구 부하가 (1/2) + (k + (r/g - 1)²)/(2k(r/g)) per message unit로 감소한다. 여기서 g = ⌊r/√(k+1)⌋이다.
• 피그백킹 과정에서도 MDS 성질과 유한체 운영이 유지되어, 임의의 k개 노드로부터 데이터 복구가 가능하고 기존 시스템과의 호환성이 보장된다.