[논문 리뷰] Exact Minimum-Repair-Bandwidth Cooperative Regenerating Codes for Distributed Storage Systems

Kenneth W. Shum, Yuchong Hu|arXiv (Cornell University)|2011. 02. 08.

Advanced Data Storage Technologies참고 문헌 11인용 수 12

한 줄 요약

이 논문은 분산 스토리지 시스템을 위한 정확한 최소 복구 대역폭 공학적 재생(MBCR) 코드의 가족을 제안하며, 다중 동시 장애 발생 시 최적의 복구 대역폭을 달성한다. 체 위에서의 체계적 인코딩과 구조적 행렬 기반 구성 방식을 사용하여, 복구 대역폭에 대한 유도된 이론적 하한선과 일치시키며, 최소한의 네트워크 트래픽으로 다중 장애 노드를 효율적으로 공동으로 복구할 수 있다.

ABSTRACT

In order to provide high data reliability, distributed storage systems disperse data with redundancy to multiple storage nodes. Regenerating codes is a new class of erasure codes to introduce redundancy for the purpose of improving the data repair performance in distributed storage. Most of the studies on regenerating codes focus on the single-failure recovery, but it is not uncommon to see two or more node failures at the same time in large storage networks. To exploit the opportunity of repairing multiple failed nodes simultaneously, a cooperative repair mechanism, in the sense that the nodes to be repaired can exchange data among themselves, is investigated. A lower bound on the repair-bandwidth for cooperative repair is derived and a construction of a family of exact cooperative regenerating codes matching this lower bound is presented.

연구 동기 및 목표

• 다중 노드 장애가 흔한 대규모 분산 스토리지 시스템에서 단일 장애 복구의 비효율성을 해결한다.
• 일괄적으로 복구하는 데서의 한계를 극복하여, 다중 장애 노드를 동시에 공동으로 복구할 수 있도록 한다.
• 분산 스토리지 시스템에서 공동 복구에 대한 복구 대역폭에 대한 이론적 하한선을 유도한다.
• 이 하한선을 달성하는 명시적 정확한 MBCR 코드를 구성하여 최적의 복구 성능을 보장한다.
• 코드가 체계적이며, 전체 재구성 없이도 데이터 패킷에 직접 액세스할 수 있도록 한다.

제안 방법

• 공동 복구 시 r개의 장애 노드에 대한 복구 대역폭에 대한 이론적 하한선을 유도하여, 각 장애 노드당 최소 (2d + r - 1) 패킷이 필요하다고 보여준다.
• 확장된 리드-소로몬 코드의 생성 행렬 기반의 체계적 인코딩 체계를 사용하여 정확한 MBCR 코드의 가족을 구성한다.
• 세 단계 복구 프로세스를 설계한다: (1) 신규 노드가 d개의 생존 노드로부터 각각 k개 패킷을 다운로드하고, (2) 신규 노드들이 중간 계산 결과를 교환하고, (3) 신규 노드들이 손실된 데이터를 재구성하고 패리티 정보를 교환한다.
• 에코딩 시 순환 이동 패턴을 사용하여 체계적 및 패리티 패킷을 노드에 균일하게 분포시어 k개 노드 복구 가능성을 보장한다.
• 유한 체의 크기가 n에 대해 선형적으로 증가하도록 하여, 대규모 시스템에서의 구현 가능성을 확보한다.
• 총 복구 대역폭이 유도된 하한선과 일치함을 통해 최적성을 입증한다: r(2d + r - 1)의 복구 대역폭을 r개의 장애 발생 시 달성한다.

실험 결과

연구 질문

• RQ1 분산 스토리지 시스템에서 r개의 장애 노드를 공동으로 복구하기 위해 필요한 이론적 최소 복구 대역폭은 얼마인가?
• RQ2 이 최소 복구 대역폭을 달성하면서도 체계적 인코딩과 같은 시스템 수준의 특성을 유지하는 정확한 공동 재생 코드를 구성할 수 있는가?
• RQ3 다중 장애 노드의 공동 복구 시 총 네트워크 트래픽을 최소화하기 위해 복구 프로세스를 어떻게 구성할 수 있는가?
• RQ4 생존 노드 수 d, 장애 수 r, 복구 대역폭 간의 관계는 무엇인가?
• RQ5 노드 수가 증가함에 따라 요구되는 유한 체의 크기를 제어함으로써 구성이 실용적으로 만들 수 있는가?

주요 결과

• 공동 복구 시 r개의 장애 노드에 대한 복구 대역폭에 대한 이론적 하한선을 (2d + r - 1) 패킷/장애 노드로 도출하였다.
• 제안된 구성 방식이 이 하한선을 달성하여, 복구 대역폭 측면에서 코드가 최적임을 입증하였다.
• n=5, d=k=3, r=2인 예시에서 총 복구 대역폭은 14패킷이며, 장애 노드당 7패킷으로 이론적 하한선과 정확히 일치한다.
• 코드는 체계적이며, 데이터 패킷을 저장하고 있는 노드에만 액세스함으로써 어떤 데이터 패킷이라도 직접 액세스할 수 있다.
• 필요한 유한 체의 크기가 노드 수 n에 대해 선형적으로 증가하므로, 구성이 확장 가능하고 실용적이다.
• 복구 프로세스는 완전히 정확하며, 신규 노드에 재생된 데이터가 고장 난 노드의 원본 데이터와 비트 단위로 정확히 일치한다.