[논문 리뷰] Distributed Storage Systems based on Equidistant Subspace Codes

Netanel Raviv, Tuvi Etzion|arXiv (Cornell University)|2014. 06. 24.

Advanced Data Storage Technologies참고 문헌 14인용 수 4

한 줄 요약

이 논문은 플루커 임bedding 기반의 등거리 부분공간 코드를 사용하는 분산 저장 시스템을 제안하며, 최소 대역폭과 낮은 스토리지로 효율적인 복구 및 재구성 기능을 제공한다. 이는 근사 최소 대역폭 재구성(MBR) 및 최소 스토리지 재구성(MSR) 성질을 달성하고, 자체 복구 기능을 지원하며, 소수의 필드를 사용하여 최대 O(√B)의 실패에 대해 보장된 내성까지 가능하게 한다.

ABSTRACT

Distributed storage systems based on equidistant constant dimension codes are presented. These equidistant codes are based on the Plücker embedding, which is essential in the repair and the reconstruction algorithms. These systems posses several useful properties such as high failure resilience, minimum bandwidth, low storage, simple algebraic repair and reconstruction algorithms, good locality, and compatibility with small fields.

연구 동기 및 목표

• 높은 실패 내성, 최소한의 복구 대역폭, 낮은 스토리지 오버헤드를 갖춘 분산 저장 시스템을 설계하기 위해.
• 전체 파일을 다운로드하지 않고도 복구할 수 있는 자체 복구 코드(SRC) 성질을 달성하기 위해.
• 구조화된 부분공간 할당을 통해 최소 대역폭 복구 및 양호한 국소성( locality )을 동시에 실현하기 위해.
• 플루커 임bedding과 선형 대수 기반의 대수적 알고리즘을 이용해 효율적인 재구성 및 복구를 가능하게 하기 위해.
• 강력한 내성과 성능을 유지하면서도 소수의 유한체와의 호환성을 확보하기 위해.

제안 방법

• 시스템은 메시지 공간의 차원 B = (b choose 2)에서 유도된 플루커 임bedding 기반의 등거리 일정 차원 부분공간 코드를 사용하여 노드 부분공간을 정의한다.
• 각 노드는 b−1개의 필드 원소를 저장하며, 파일 x를 노드별 벡터로 매핑하는 전단위 행렬을 사용해 데이터를 인코딩한다.
• 복구 및 재구성은 활성 노드가 생성하는 부분공간과 관련된 행렬 기반의 선형 시스템을 푸는 방식으로 수행된다.
• 두 가지 복구 알고리즘이 제공된다: 하나는 대역폭을 최소화하는(dβ ≤ α+1) 알고리즘이고, 다른 하나는 분할된 기저 부분공간을 통해 국소성 c를 갖는 복구를 가능하게 하는 알고리즘이다.
• 내성적인 스펜딩 세트 구성은 q^{c−1}−1개 이하의 실패 후에도 복구 가능성을 보장하며, 생존한 노드가 필요한 부분공간을 스펜딩하도록 보장한다.
• 특정 최소 거리와 함께 F_q 상의 선형 코드를 활용하여 내성을 확보하며, 생성 행렬을 사용해 벡터를 노드에 할당한다.

실험 결과

연구 질문

• RQ1 등거리 부분공간 코드를 사용하여 근사 최적의 복구 대역폭을 갖춘 분산 저장 시스템을 구축할 수 있는가?
• RQ2 이러한 시스템이 낮은 스토리지와 높은 내성성을 유지하면서도 자체 복구 코드(SRC) 성질을 달성할 수 있는가?
• RQ3 부분공간 코드를 사용한 분산 저장 시스템에서 복구 대역폭이나 필드 크기를 희생시키지 않고 국소성을 어떻게 달성할 수 있는가?
• RQ4 부분공간 기반 DSS 설계에서 복구 대역폭, 스토리지, 실패 내성 간의 상호 교환 관계는 어떠한가?
• RQ5 시스템은 임의의 d 또는 k개 노드에서 복구 및 재구성을 지원하는가, 아니면 특정한 구조적 세트에서만 가능한가?

주요 결과

• 시스템은 dβ ≤ α + 1을 달성하여 이론적 최소값에 한 번의 기호만 떨어진 최소 대역폭 재구성(MBR) 성질에 근접함을 보였다.
• 재구성 과정에서 데이터 컬렉터가 추가 정보를 제공할 경우, 파일을 복구하기 위해 오직 B개의 필드 원소만 다운로드하면 되며, 이는 최소 스토리지 재구성(MSR) 성질의 변종을 달성함을 의미한다.
• 데이터 컬렉터의 추가 데이터가 제공되면, b가 짝수이면 각 노드당 평균 b/2개, 홀수이면 (b±1)/2개의 필드 원소만 다운로드하면 되어 다운로드 비용을 크게 감소시킨다.
• 시스템은 최대 O(√B)의 동시 노드 장애를 지원하며, 매개변수 n = O(B^{1/2}), α = O(B^{1/2}), β = 1을 사용하고, 필요에 따라 이진 필드만으로도 작동한다.
• b/c개의 부분집합으로 F_q^b의 기저를 분할하고, 1차원 부분공간의 대표자를 사용함으로써 국소성 c를 달성하며, 최대 q^{c−1}−1개의 실패 이후에도 최대 c개의 노드로 복구가 가능하다.
• c=2일 경우, 어떤 필드 q에서도 최소 국소성 2를 달성하며, 노드 수 대비 실패 내성에서 기하학적 복제보다 약 c배 우수한 성능을 보인다.