[논문 리뷰] Cost Analysis of Redundancy Schemes for Distributed Storage Systems

Lluís Pàmies-Juàrez, Ernst W. Biersack|arXiv (Cornell University)|2011. 03. 14.

Advanced Data Storage Technologies참고 문헌 27인용 수 9

한 줄 요약

이 논문은 분산 스토리지 시스템에서 복제 체계의 스토리지 및 통신 비용을 분석하며, 복구 코드와 하이브리드 복제-코드 체계에 초점을 맞춘다. 노드 가용성과 대역폭 제약 조건을 바탕으로 최적의 구성 요건을 도출하며, 복구 코드가 복제보다 비용을 20%~80%까지 감소시킬 수 있음을 보여주며, 최적의 수리 정도 $d$ 는 노드 가동 시간에 따라 달라진다.

ABSTRACT

Distributed storage infrastructures require the use of data redundancy to achieve high data reliability. Unfortunately, the use of redundancy introduces storage and communication overheads, which can either reduce the overall storage capacity of the system or increase its costs. To mitigate the storage and communication overhead, different redundancy schemes have been proposed. However, due to the great variety of underlaying storage infrastructures and the different application needs, optimizing these redundancy schemes for each storage infrastructure is cumbersome. The lack of rules to determine the optimal level of redundancy for each storage configuration leads developers in industry to often choose simpler redundancy schemes, which are usually not the optimal ones. In this paper we analyze the cost of different redundancy schemes and derive a set of rules to determine which redundancy scheme minimizes the storage and the communication costs for a given system configuration. Additionally, we use simulation to show that theoretically-optimal schemes may not be viable in a realistic setting where nodes can go off-line and repairs may be delayed. In these cases, we identify which are the trade-offs between the storage and communication overheads of the redundancy scheme and its data reliability.

연구 동기 및 목표

• 복수의 스토리지 시스템에서 복제 체계를 사용한 스토리지 및 통신 비용 간의 상충 관계를 분석하기.
• 노드 가용성 및 대역폭 활용도와 같은 시스템 파라미터에 기반해 복구 코드의 최적 구성 요건을 도출하기.
• 단순 복제에 비해 비용 효율성이 높은 하이브리드 복제+코드 체계가 성능을 뛰어넘을 수 있는지 평가하기.
• 실제 노드 장애 및 수리 지연 조건 하에서 이론적으로 최적의 체계의 확장성 및 신뢰성 평가하기.
• 스토리지 용량 및 통신 대역폭과 같은 시스템 제약 조건에 기반해 복제 체계 선택에 실용적인 지침 제공하기.

제안 방법

• 저자는 분석 모델링을 통해 복구 코드의 스토리지 및 통신 비용을 계산하며, 이를 복제 및 MDS 코드가 특수 케이스로 포함된 일반적인 프레임워크로 간주한다.
• 노드 온라인 가용성, 수리 정도 $d$, 기본 수리 시간 $B$ 를 고려한 비용 함수를 유도하며, 실제 노드의 동역학을 반영한다.
• 이벤트 기반 시뮬레이터를 사용해 다양한 대역폭 활용도, 객체 크기, 수리 정도 조건 하에서 시스템 동작 평가한다.
• 시뮬레이션은 MSR 및 MBR 코드를 포함한 다양한 구성 조건 하에서 실제 대역폭 활용도, 수리 시간, 시스템 확장성 측정한다.
• 다양한 시스템 파라미터를 기반으로 하이브리드 체계(복제 + MSR 코드)를 순수 복제 및 복구 코드와 비교한다.
• 파일 복구에 필요한 노드 수인 $k$, 수리 시 접촉하는 노드 수인 $d$, 객체 크기 등의 핵심 파라미터를 변화시켜 비용 및 신뢰성 간 상충 관계 평가한다.

실험 결과

연구 질문

• RQ1 노드 가용성이 다양할 경우 스토리지 및 통신 비용을 최소화하기 위해 최적의 수리 정도 $d$ 는 무엇인가?
• RQ2 하이브리드 복제+코드 체계가 순수 복제에 비해 스토리지 및 통신 비용을 절감하는 조건은 무엇인가?
• RQ3 노드 온라인 가용성과 대역폭 활용도는 복구 코드의 신뢰성 및 성능에 어떤 영향을 미치는가?
• RQ4 지연된 수리 및 노드 장애로 인해 이론적으로 최적의 복제 체계가 실제로 실패할 정도로 얼마나 심각한가?
• RQ5 객체 크기와 저장된 객체 수는 실제 환경에서 수리 시간과 시스템 확장성에 어떤 영향을 미치는가?

주요 결과

• 복구 코드는 시스템 구성에 따라 단순 복제 대비 총 시스템 비용(스토리지 및 통신)을 20%~80%까지 감소시킬 수 있다.
• 최적의 수리 정도 $d$ 는 수리 시간이 일반적인 노드 온라인 지속 시간보다 짧아야 하며, 이는 수리 중 데이터 손실을 방지하기 위함이다.
• 제한된 스토리지 용량을 가진 시스템에서는 MSR 코드가 스토리지 효율성을 극대화하고, 제한된 통신 대역폭을 가진 시스템에서는 MBR 코드가 최적이다.
• 노드 가용성이 99%일 경우 $k=5$ 가 최적이며, 가용성이 50%로 떨어지면 신뢰성을 유지하기 위해 $k=50$ 가 필요하다.
• 높은 수리 정도($d=36$)는 동일한 구성 조건에서 낮은 $d$ 값($d=20$)보다 최대 10배 더 많은 데이터(6452개 대비 683개 객체)를 저장할 수 있다.
• 지연된 수리가 발생하는 실제 환경에서는 심지어 이론적으로 최적의 체계라도 데이터 신뢰성을 확보하지 못할 수 있으며, 이는 비용과 내구성 간 실용적 상충 관계가 필요함을 시사한다.