[논문 리뷰] Cooperative Regenerating Codes

Kenneth W. Shum, Yuchong Hu|arXiv (Cornell University)|2012. 07. 29.

Advanced Data Storage Technologies참고 문헌 34인용 수 8

한 줄 요약

이 논문은 복수의 장애 노드를 동시에 협동적으로 복구할 수 있도록 하여 분산 스토리지 시스템에서 복구 대역폭을 최소화하는 협동 재생 코드를 소개한다. 각 노드당 스토리지와 복구 대역폭 사이의 폐쇄형 상호관계를 유도하고, 하위모듈러 플로우 이론을 사용하여 최적성의 증명을 하며, 유한 필드 크기가 유한한 범위 내에 있도록 명시적인 구성법을 제공하여 협동 복구 시나리오에서 이론적 최소 복구 트래픽을 달성한다.

ABSTRACT

One of the design objectives in distributed storage system is the minimization of the data traffic during the repair of failed storage nodes. By repairing multiple failures simultaneously and cooperatively, further reduction of repair traffic is made possible. A closed-form expression of the optimal tradeoff between the repair traffic and the amount of storage in each node for cooperative repair is given. We show that the points on the tradeoff curve can be achieved by linear cooperative regenerating codes, with an explicit bound on the required finite field size. The proof relies on a max-flow-min-cut-type theorem for submodular flow from combinatorial optimization. Two families of explicit constructions are given.

연구 동기 및 목표

• 다수의 노드 장애가 흔한 대규모 분산 스토리지 시스템에서 높은 복구 대역폭 문제를 해결하기 위해.
• 새로운 노드가 복구 중 서로 간 데이터를 교환할 수 있는 협동 복구 모델을 개발하여 전체 복구 트래픽을 감소시키기 위해.
• 협동 복구에 대해 각 노드당 스토리지와 복구 대역폭 사이의 기본 상호관계를 유도하고, 이전의 단일 장애 복구 작업을 일반화하기 위해.
• 유한 필드 크기가 유한한 범위 내에 있는 선형 코드를 사용하여 최적 상호관계 점들이 달성 가능한지를 증명하기 위해.
• 이론적 상호관계 한계에 도달하는 명시적인 협동 재생 코드의 구성법을 제공하기 위해.

제안 방법

• 저자들은 데이터 수집자가 임의의 k개의 생존 노드에 연결하는 무한한 수의 수신단을 가진 정보 흐름 그래프를 사용하여 협동 복구 과정을 모델링한다.
• 하위모듈러 플로우에 대한 최대 유량-최소 컷 유형 정리를 적용하여 최적의 복구 대역폭 상호관계를 도출한다.
• 핵심 기여는 정보 흐름 그래프의 무한성 문제를 다루기 위해 하위모듈러 함수 이론을 활용하여 유한 필드 구성법을 가능하게 한 것이다.
• 보조 그래프를 구성하고 하위모듈러 함수를 정의하여 흐름의 타당성과 복구 대역폭의 범위를 확인하는 방법을 포함한다.
• 두 가지 명시적인 선형 협동 재생 코드 가족을 구성하였으며, 필요한 유한 필드 크기에 대한 범위를 제시하였다.
• 증명은 수정된 정보 흐름 그래프에서 유효한 흐름을 구성하기 위해 프랭크의 정리를 반복 적용하는 데 기반한다.

실험 결과

연구 질문

• RQ1 복수의 장애 노드를 위한 협동 복구에서 각 노드당 스토리지와 복구 대역폭 사이의 기본 상호관계는 무엇인가?
• RQ2 최적 상호관계는 선형 네트워크 코딩을 사용하여 달성 가능한가? 필요한 유한 필드 크기는 얼마인가?
• RQ3 새로운 노드가 서로 데이터를 교환하는 협동 복구 방식은 독립적인 단일 노드 복구 방식에 비해 복구 대역폭을 얼마나 감소시키는가?
• RQ4 협동 복구 시나리오에서 정보 흐름 그래프의 무한성 문제를 다룰 수 있는 수학적 프레임워크는 무엇인가?
• RQ5 이론적 최소 복구 대역폭에 도달하는 명시적인 협동 재생 코드의 구성법을 제공할 수 있는가?

주요 결과

• 협동 복구에 대해 각 노드당 스토리지와 복구 대역폭 사이의 최적 상호관계가 폐쇄형으로 도출되었으며, 이는 이전의 단일 장애 복구 결과를 일반화한다.
• 상호관계 곡선은 시스템 매개변수의 다항식 범위 내에 유한 필드 크기가 제한된 선형 협동 재생 코드를 사용하여 달성 가능하다.
• 복구 중 새로운 노드 간의 데이터 교환을 允허함으로써 복구 대역폭이 최소화되며, 이는 독립 복구 방식보다 더 낮은 트래픽 감소를 가능하게 한다.
• 증명은 최적 복구 대역폭이 하위모듈러 플로우 조건에 의해 제한됨을 보여주며, 이는 최대 유량-최소 컷 유형 정리를 통해 확인된다.
• 정보 흐름 그래프의 구조에 기반한 하나의 명시적 협동 재생 코드 구성법과, 유한 필드 크기가 제한된 재귀적 설계를 사용한 다른 구성법이 제공된다.
• 결과적으로 협동 복구는 다중 장애가 동시에 발생할 경우 기능적 복구보다 더 낮은 복구 대역폭을 달성할 수 있음을 보여준다.