[논문 리뷰] A realistic distributed storage system: the rack model

Bernat Gastón, Jaume Pujol외 1명|arXiv (Cornell University)|2013. 02. 22.

Advanced Data Storage Technologies참고 문헌 7인용 수 7

한 줄 요약

이 논문은 랙 기반 분산 스토리지 모델을 제안하며, 내부 랙 및 외부 랙 통신 간의 수리 대역폭 비용이 다름을 고려한다. 다양한 랙 간 수리 비용을 반영하는 일반화된 임계값 함수를 도입함으로써, 이전의 동일한 비용 또는 정적 비용 모델보다 낮은 수리 비용을 달성하며, 데이터 재생 및 스토리지 오버헤드의 분석적 트레이드오프 곡선을 통해 효율성이 향상됨을 보여준다.

ABSTRACT

In a realistic distributed storage environment, storage nodes are usually placed in racks, a metallic support designed to accommodate electronic equipment. It is known that the communication (bandwidth) cost between nodes which are in the same rack is much lower than between nodes which are in different racks. In this paper, a new model, where the storage nodes are placed in two racks, is proposed and analyzed. Moreover, the two-rack model is generalized to any number of racks. In this model, the storage nodes have different repair costs depending on the rack where they are placed. A threshold function, which minimizes the amount of stored data per node and the bandwidth needed to regenerate a failed node, is shown. This threshold function generalizes the ones given for previous distributed storage models. The tradeoff curve obtained from this threshold function is compared with the ones obtained from the previous models, and it is shown that this new model outperforms the previous ones in terms of repair cost.

연구 동기 및 목표

• 노드 위치에 관계없이 동일한 수리 대역폭을 가정하는 이전 모델의 한계를 해결하기 위해, 랙 수준 네트워크 토폴로지와 변동하는 통신 비용을 통합함으로써 실제 분산 스토리지 시스템을 더 정확히 모델링하는 것.
• 노드 위치에 관계없이 동일한 수리 대역폭을 가정하는 이전 모델의 한계를 해결하기 위해, 랙 수준 네트워크 토폴로지와 변동하는 통신 비용을 통합함으로써 실제 분산 스토리지 시스템을 더 정확히 모델링하는 것.
• 다양한 랙 간 비균일한 수리 비용을 포괄하는 일반화된 임계값 함수를 유도하는 것.
• 다중 랙 환경에서 노드당 저장된 데이터와 수리 대역폭 간의 트레이드오프를 분석하는 것.
• 랙 모델이 정적 비용 모델 및 동일 비용 모델보다 전체 수리 비용을 낮춘다는 것을 입증하는 것.

제안 방법

• 내부 랙 수리 대역폭이 외부 랙 수리 대역폭보다 저렴한 두 랙 모델을 제안하며, 외부 랙 통신에 대해 τ > 1 인 비용 인자를 도입한다.
• 다양한 도우미 노드 비용을 고려하여 최적의 수리 대역폭 βₑ 를 결정하는 일반화된 임계값 함수 f(i) = M / [L[i](k−i) + g(i)] 를 개발한다.
• 정보 흐름 그래프에 대한 최소 컷 분석을 적용하여 저장된 데이터(α)와 수리 대역폭(γ = dβ) 간의 기본 트레이드오프를 유도한다.
• 두 랙 모델을 r ≥ 2 랙으로 일반화하기 위해, 비균일한 비용 하에서 신규 참가자에 대한 최소 최소 컷 집합을 계산하는 알고리즘을 제작한다.
• 일반화된 임계값 함수를 사용하여 노드당 저장된 데이터와 수리 대역폭을 모두 최소화함으로써 시스템 효율성을 최적화한다.
• 총 수리 비용 C_T¹ 과 βₑ 와 같은 지표를 사용하여 랙 모델을 이전 모델(기본 재생 코드 및 정적 비용 모델)과 비교한다.

실험 결과

연구 질문

• RQ1 랙 수준 네트워크 토폴로지를 통합할 경우 분산 스토리지 시스템의 설계 및 성능에 어떤 영향을 미치는가?
• RQ2 수리 비용이 랙 간으로 변동할 경우, 노드당 저장된 데이터와 수리 대역폭 간 최적의 트레이드오프는 무엇인가?
• RQ3 다중 랙 환경에서 분산 스토리지 시스템의 비균일한 수리 비용을 모델링하기 위해 일반화된 임계값 함수를 도출할 수 있는가?
• RQ4 랙 모델의 수리 비용은 이전의 정적 비용 모델 및 동일 비용 모델과 비교해 어떻게 다른가?
• RQ5 랙 수를 늘릴 경우 최소 수리 비용과 시스템 효율성에 어떤 영향을 미치는가?

주요 결과

• 랙 모델은 정적 비용 모델보다 총 수리 비용 C_T¹ 을 낮춘다. 이는 높은 τ 값으로 인해 외부 랙 도우미 노드가 비용에 기여도가 낮기 때문이다.
• 일반화된 임계값 함수 f(i) = M / [L[i](k−i) + g(i)] 는 변동하는 수리 비용을 효과적으로 포착하며, 이전 모델을 일반화한다.
• M=1, k=10, d=11, τ=10 인 경우, τ 가 증가함에 따라 수리 대역폭 βₑ 가 크게 감소하며, 고비용 외부 랙 환경에서 효율성이 향상됨을 보여준다.
• 그림 9 에서 보듯이, 수리 비용 C_T¹ 은 βₑ 와 직접 비례한다. 이는 낮은 βₑ 가 전체 수리 비용을 낮춘다는 것을 확인한다.
• 랙 모델은 내부 랙 도우미의 효과적 비용을 낮게 설정함으로써 정적 비용 모델보다 낮은 수리 비용을 달성한다.
• r ≥ 2 랙으로의 일반화를 통해 실제 데이터 센터의 다중 랙 환경을 모델링할 수 있으며, 최소 최소 컷 집합을 찾는 알고리즘은 새로운 기여이다.