[논문 리뷰] Regenerating Codes for Errors and Erasures in Distributed Storage

K. V. Rashmi, Nihar B. Shah외 2명|arXiv (Cornell University)|2012. 02. 06.

Advanced Data Storage Technologies참고 문헌 14인용 수 19

한 줄 요약

이 논문은 분산 스토리지 시스템에서 데이터 복구 및 노드 복구 중 오류와 손실에 모두 내성적인 명시적 재생 코드를 제안한다. 제품-매트릭스 코드를 확장하고 통합된 내성 조건을 도입함으로써, 스토리지와 수리 대역폭 사이의 최적 트레이드오프를 달성하며, 수리 또는 복구 시 (d + s + 2t)개의 보조 노드로부터 데이터를 다운로드함으로써 최대 s개의 블록 손실과 t개의 블록 오류에 견딜 수 있도록 코드를 설계함을 증명한다.

ABSTRACT

Regenerating codes are a class of codes proposed for providing reliability of data and efficient repair of failed nodes in distributed storage systems. In this paper, we address the fundamental problem of handling errors and erasures during the data-reconstruction and node-repair operations. We provide explicit regenerating codes that are resilient to errors and erasures, and show that these codes are optimal with respect to storage and bandwidth requirements. As a special case, we also establish the capacity of a class of distributed storage systems in the presence of malicious adversaries. While our code constructions are based on previously constructed Product-Matrix codes, we also provide necessary and sufficient conditions for introducing resilience in any regenerating code.

연구 동기 및 목표

• 오류와 손실이 존재하는 상황에서도 신뢰할 수 있는 데이터 복구와 효율적인 노드 수리를 보장하는 데 있어 근본적인 과제를 해결하기 위해.
• 기존의 재생 코드—특히 제품-매트릭스 코드—를 오류와 손실에 모두 내성적으로 만들되, 스토리지 또는 대역폭 최적성에 손상을 주지 않도록 확장하기 위해.
• 어떤 재생 코드도 통합 내성적인 것으로 전환하기 위한 필요 및 충분 조건을 설정하기 위해.
• 악성 공격자에 의해 노드 또는 링크의 데이터가 손상될 수 있는 상황에서 분산 스토리지 시스템의 용량을 도출하고 경계를 유도하며, 이를 달성하는 코드를 구성하기 위해.

제안 방법

• 수리 및 복구 중 접속하는 보조 노드 수를 (d + s + 2t)로 증가시킴으로써 제품-매트릭스 코드(PM-MSR 및 PM-MBR)를 오류와 손실을 처리할 수 있도록 확장함. 여기서 s는 블록 손실 수, t는 블록 오류 수이다.
• 보조 노드의 데이터 행렬에 대한 MDS 인코딩 성질을 활용하여, s개의 손실과 t개의 오류가 존재하더라도 원래 데이터를 복구할 수 있도록 보장함. 이를 위해 최소 거리 (s + 2t + 1)를 활용한다.
• β′ = 1로 설정하고 β 복사본으로 확장함으로써 통합 내성 MBR 코드를 구성함. 이를 통해 B′ = kd − (k 선택 2) 및 α′ = d를 확보하고, 대칭 메시지 행렬 M을 유지한다.
• 어느 k개의 행이 Φ에서, 어느 d개의 행이 Ψ에서 선형 독립이 되도록 하는 바르드모인 유사 인코딩 행렬 Ψ = [Φ | Σ]을 활용함으로써 MDS 성질을 보장한다.
• 보조 노드가 형성하는 효과적 코드의 최소 거리가 충분하여 s개의 손실과 t개의 오류를 수정할 수 있음을 보여줌으로써, 수리 및 복구 과정이 여전히 최적임을 증명한다.
• 필요 및 충분 조건을 수립함: 재생 코드가 통합 내성적일 수 있는 조건은 보조 노드가 실패한 노드에 전달하는 데이터가 다른 보조 노드에 영향을 받지 않고, 오직 보조 노드와 실패한 노드의 신원에만 의존해야 한다.

실험 결과

연구 질문

• RQ1 재생 코드를 오류와 손실이 동시에 발생하는 데이터 복구 및 노드 수리 중에서도 최적의 스토리지 및 대역폭 효율성을 유지하면서 내성적으로 만들 수 있는가?
• RQ2 악성 공격자가 노드 또는 링크의 데이터를 손상시킬 수 있는 상황에서 분산 스토리지 시스템의 용량은 얼마인가?
• RQ3 재생 코드가 통합 내성적인 것으로 전환되기 위해 만족해야 할 조건은 무엇인가?
• RQ4 제품-매트릭스 코드의 내성성을 임의의 수의 오류와 손실을 처리할 수 있도록 확장할 수 있는가, 성능 저하 없이?
• RQ5 이론적 경계를 달성하는 명시적이고 최적의 코드를 구성하는 것은 가능한가?

주요 결과

• 제안된 재생 코드는 오류 및 손실 상황에서도 스토리지 α와 수리 대역폭 dβ 사이의 최적 트레이드오프를 달성하며, 기본 경계와 정확히 일치한다.
• MBR 코드의 경우, 수리 과정에서 (d + s + 2t)개의 보조 노드로부터 β개의 심벌을 다운로드하여 실패한 노드에 저장된 α개 심벌을 복구할 수 있으며, 최대 s개의 손실과 t개의 오류를 수정할 수 있다.
• 데이터 수집자는 (k + s + 2t)개의 노드로부터 다운로드하여 전체 메시지 B를 복구할 수 있으며, 복구 과정에서 최대 s개의 손실과 t개의 오류가 존재하더라도 복구가 가능하다.
• 저자는 재생 코드가 통합 내성적일 수 있는 조건은 보조 노드가 실패한 노드에 전달하는 데이터가 오직 보조 노드와 실패한 노드의 신원에만 의존하고 다른 보조 노드에 영향을 받지 않을 때에만 성립함을 증명한다. 이 조건은 제품-매트릭스 코드에 의해 충족된다.
• 이 구성은 악성 공격자 존재 하에서 분산 시스템의 보안 스토리지 용량의 외부 경계를 달성하며, 특히 d = n − 1인 MBR 지점에서 성립한다.
• MDS 복구 성질을 활용한 명시적 알고리즘을 제공하여, 확장된 보조 데이터 행렬의 MDS 성질을 이용해 오류와 손실을 수정한다.