[논문 리뷰] A realistic distributed storage system that minimizes data storage and repair bandwidth

Bernat Gastón, Jaume Pujol외 1명|arXiv (Cornell University)|2013. 01. 08.

Advanced Data Storage Technologies참고 문헌 3인용 수 4

한 줄 요약

이 논문은 랙 간 통신 비용이 랙 내 통신 비용보다 높은 랙 인식 수리 비용을 도입하여, 데이터 저장 용량과 수리 대역폭을 동시에 최소화하는 이중 랙 분산 저장 모델을 제안한다. 이는 재생 코드의 임계 함수를 비대칭 수리 비용을 처리할 수 있도록 일반화하여, 특히 $k > d_1$일 때 이전의 기본 모델 및 정적 비용 모델에 비해 수리 비용을 감소시킴을 보여준다. 최적의 보조 노드 선택 전략을 통해 랙 위치를 기반으로 하여 수리 대역폭과 비용을 저감시킨다.

ABSTRACT

In a realistic distributed storage environment, storage nodes are usually placed in racks, a metallic support designed to accommodate electronic equipment. It is known that the communication (bandwidth) cost between nodes within a rack is much lower than the communication (bandwidth) cost between nodes within different racks. In this paper, a new model, where the storage nodes are placed in two racks, is proposed and analyzed. In this model, the storage nodes have different repair costs to repair a node depending on the rack where they are placed. A threshold function, which minimizes the amount of stored data per node and the bandwidth needed to regenerate a failed node, is shown. This threshold function generalizes the threshold function from previous distributed storage models. The tradeoff curve obtained from this threshold function is compared with the ones obtained from the previous models, and it is shown that this new model outperforms the previous ones in terms of repair cost.

연구 동기 및 목표

• 실제 분산 저장 시스템 모델의 부족을 보완하기 위해 랙 기반 통신 비용의 차이를 통합하고자 한다.
• 실제 데이터 센터 아키텍처를 반영하여 랙 내 및 랙 간 수리 대역폭이 상이한 저장 시스템을 모델링하고자 한다.
• 랙 위치에 따라 수리 비용이 변하는 경우를 고려하여 재생 코드의 임계 함수를 일반화하고자 한다.
• 랙 인식 비용 하에서 노드당 저장 데이터량과 수리 대역폭 간의 트레이드오프를 유도하고 분석하고자 한다.
• 제안된 랙 모델이 이전 모델에 비해 수리 비용을 감소시키며, 특히 $k > d_1$일 경우에 그 효과가 두드러짐을 입증하고자 한다.

제안 방법

• 저장 노드를 두 그룹으로 나누어 각각 랙 내 통신 비용 $C_c$ 와 랙 간 통신 비용 $C_e$ 를 가진 이중 랙 모델을 제안한다.
• 각 $i = 0, \dots, k-1$ 에 대해 랙 내 및 랙 간 보조 노드 수에 따라 최소 수리 대역폭 $\gamma = d\beta$ 를 결정하는 일반화된 임계 함수 $f(i)$ 를 도입한다.
• 매개변수 $d_1, d_2, \tau = C_e/C_c$, 그리고 $L[i](k-i) + g(i)$ 를 정규화 인자로 사용하여 각 랙에 대한 유효 수리 대역폭 $\beta_e = f(i)$ 와 수리 비용 $C_T^1, C_T^2$ 를 유도한다.
• 비대칭 비용 하에서 저장된 데이터량 per 노드 ($\alpha$) 와 수리 대역폭 ($\gamma$) 간의 기본 트레이드오프를 확립하기 위해 정보 흐름 그래프에 대해 최소 컷 분석을 적용한다.
• 논문 [4]의 정적 비용 모델 및 논문 [3]의 기본 모델과 비교하여 랙 모델의 수리 비용 $C_T$ 가 더 높은 비용 효율성을 보임을 보여준다.
• 수치적 평가를 통해 $\tau = C_e/C_c$ 가 증가할수록 수리 비용 $C_T^1$ 과 $C_T^2$ 가 감소하며, $\eta(\tau)$ 가 단조 감소함을 확인한다.

실험 결과

연구 질문

• RQ1 랙 기반 통신 비용의 차이를 도입할 경우 분산 시스템에서 저장 용량과 수리 대역폭 간의 기본 트레이드오프에 어떤 영향을 미치는가?
• RQ2 랙 내 대역폭과 랙 간 대역폭 간의 비대칭 수리 비용을 고려한 재생 코드를 모델링하기 위해 일반화된 임계 함수를 유도할 수 있는가?
• RQ3 비율 $\tau = C_e/C_c$ 는 이중 랙 저장 모델에서 수리 비용에 어떤 영향을 미치는가?
• RQ4 제안된 랙 모델은 [4]의 정적 비용 모델 및 [3]의 기본 모델에 비해 수리 비용과 대역폭 효율성 측면에서 어떻게 비교되는가?
• RQ5 특히 $k > d_1$ 일 때 어떤 조건에서 랙 모델이 이전 모델보다 수리 비용 측면에서 뛰어나게 되는가?

주요 결과

• 랙 모델은 랙 위치 기반 최적의 보조 노드 선택 전략 덕분에, 특히 $k > d_1$ 일 때 [4]의 정적 비용 모델보다 수리 비용을 감소시킨다.
• 수리 비용 $C_T^1$ 과 $C_T^2$ 는 $\tau = C_e/C_c$ 가 증가함에 따라 단조 감소하며, 이는 랙 간 비용 비율이 클수록 전체 수리 비용이 낮아짐을 의미한다.
• 일반화된 임계 함수 $f(i)$ 는 이전 모델을 비대칭 수리 비용을 처리할 수 있도록 성공적으로 확장하여 현실적인 환경에서 정확한 트레이드오프 분석을 가능하게 한다.
• $\tau = 1$ 일 때 랙 모델은 [3]의 기본 모델로 축소되며, 이는 이전 연구 결과와의 일관성을 확인한다.
• $k \leq d_1$ 일 때는 랙 모델과 정적 비용 모델이 유사하게 행동하지만, $k > d_1$ 일 경우 랙 모델은 $\beta_e$ 와 $\alpha$ 모두에서 정적 모델을 능가한다.
• 이전 모델보다 더 낮은 수리 대역폭과 비용을 달성하며, $\eta(\tau) = C_T^{1}(\tau>1)/C_T^{1}(\tau=1)$ 는 $\tau$ 가 증가함에 따라 감소함을 통해 비용 효율성 향상을 입증한다.