[논문 리뷰] Simple Regenerating Codes: Network Coding for Cloud Storage

Dimitris Papailiopoulos, Jianqiang Luo외 3명|arXiv (Cornell University)|2011. 09. 01.

Cooperative Communication and Network Coding인용 수 4

한 줄 요약

이 논문은 단순한 XOR 연산만을 사용하여 고속, 저I/O 복구가 가능한 분산 스토리지 코드인 간단한 재생 코드(SRC)라는 새로운 가족의 코드를 소개한다. MDS 코드와 국소적으로 복구 가능한 패리티를 조합함으로써 SRC는 $ f/(f+1) $까지의 임의의 높은 데이터율(최대 데이터율)을 달성할 수 있으며, 수리 시 일정한 수리 대역폭과 단지 $ d = 2f $개의 디스크 액세스만으로도 복구가 가능하여 복제와 Reed-Solomon 코드에 비해 신뢰성과 스토리지 효율성 면에서 뛰어나다.

ABSTRACT

Network codes designed specifically for distributed storage systems have the potential to provide dramatically higher storage efficiency for the same availability. One main challenge in the design of such codes is the exact repair problem: if a node storing encoded information fails, in order to maintain the same level of reliability we need to create encoded information at a new node. One of the main open problems in this emerging area has been the design of simple coding schemes that allow exact and low cost repair of failed nodes and have high data rates. In particular, all prior known explicit constructions have data rates bounded by 1/2. In this paper we introduce the first family of distributed storage codes that have simple look-up repair and can achieve arbitrarily high rates. Our constructions are very simple to implement and perform exact repair by simple XORing of packets. We experimentally evaluate the proposed codes in a realistic cloud storage simulator and show significant benefits in both performance and reliability compared to replication and standard Reed-Solomon codes.

연구 동기 및 목표

• 분산 스토리지 시스템에서 실용적이고 고속도의 에러코드를 설계하고, 효율적인 정확한 수리 기능을 갖춘 장기적인 과제를 해결하기 위해.
• 이전에 명시적인 구성 방식이 최대 데이터율 1/2로 제한되어 있었던 문제를 극복하기 위해.
• 노드 수리 시 낮은 디스크 I/O와 최소한의 계산을 유지하면서도 높은 고장 내성 확보를 위해.
• 기존의 MDS 코드 인frastructures와 쉽게 통합할 수 있는 실용적이고 구현 가능한 코드 설계를 제공하기 위해.
• 실제 클라우드 스토리지 워크로드에서 SRC의 성능과 신뢰성을 복제 및 Reed-Solomon 코드와 비교하여 평가하기 위해.

제안 방법

• 제안된 SRC는 두 계층 설계를 사용한다: 데이터 신뢰성을 위한 MDS 코드와 효율적인 국소 수리를 위한 단순한 XOR 기반 패리티.
• 각 노드는 파일 크기의 $ \frac{f+1}{fk} $를 저장하며, 수리 시 오직 $ f $개의 노드에 액세스하고 각각에서 하나의 코딩된 청크를 읽는다.
• 수리 시 단순한 XOR 조합을 통해 정확한 수리를 달성함으로써 계산 오버헤드를 최소화한다.
• 코드율은 $ R = \frac{f}{f+1} \cdot \frac{k}{n} $이며, $ f $를 증가시킴으로써 $ \frac{f}{f+1} $에 임의로 가까워질 수 있다.
• 수리 대역폭은 $ \frac{f+1}{k} $이며, 수리 시 접촉하는 노드 수는 $ d = 2f $로 $ n $와 $ k $에 관계없이 일정하다.
• 이 방식은 기존의 어떤 MDS 코드와도 XOR 기반 청크 배치 및 국소 수리 규칙를 조합하여 구현된다.

실험 결과

연구 질문

• RQ1 고속 데이터율을 달성하면서도 저I/O, 정확한 수리가 가능하고 계산 오버헤드가 최소화된 분산 스토리지 코드를 설계할 수 있는가?
• RQ2 명시적이고 실용적인 재생 코드 구성에서 1/2 데이터율 장벽을 돌파할 수 있는가?
• RQ3 실제 클라우드 워크로드에서 SRC의 수리 성능은 복제 및 Reed-Solomon 코드와 어떻게 비교되는가?
• RQ4 SRC는 관련 고장 상황에서 데이터 신뢰성에 어떤 영향을 미치는가?
• RQ5 k가 증가함에 따라 SRC는 높은 성능과 낮은 스토리지 오버헤드를 유지할 수 있는가?

주요 결과

• SRC는 최대 $ \frac{f}{f+1} \cdot \frac{k}{n} $의 데이터율을 달성할 수 있으며, $ f $를 증가시킴으로써 $ \frac{f}{f+1} $에 임의로 가까워질 수 있어 이전의 1/2 비율 장벽을 돌파한다.
• $(50,46,2)$ SRC의 경우, 3중 복제의 약 절반 수준의 스토리지 오버헤드를 유지하면서도 4개의 지표 차수 높은 데이터 신뢰성을 확보한다.
• 3중 복제의 약 60% 수준의 열악한 읽기 성능를 기록하지만, 수리 I/O는 훨씬 낮고 재빌드 시간도 훨씬 빠르다.
• 100台의 머신을 가진 Hadoop 유사 시뮬레이터에서, SRC는 복제 및 Reed-Solomon 코드보다 수리 대역폭과 신뢰성 면에서 뛰어나며, 尤히 $ k $가 증가할수록 성능이 뛰어나다.
• SRC의 평균 고故 시간(MTTF)은 고율에서도 3중 복제보다 수개의 지표 차수 높은 수준을 유지한다.
• SRC는 복제의 15분 대비 수리 시간을 30분으로 늘렸지만, 높은 수리 속도와 고장 다양성 덕분에 훨씬 뛰어난 신뢰성을 확보한다.