[논문 리뷰] Comparing cost and performance of replication and erasure coding

John G. Cook, Robert Primmer외 1명|arXiv (Cornell University)|2013. 08. 08.

Advanced Data Storage Technologies참고 문헌 3인용 수 5

한 줄 요약

이 논문은 스토리지 시스템에서 복제와 에러 복구 코드화를 비교하며, 핫 데이터에 대해 복제가 더 낮은 지연 시간과 더 빠른 복구로 인해 성능과 가용성 측면에서 열세를 보이며, 콜드 데이터에 대해서는 에러 복구 코드화가 더 뛰어난 스토리지 효율성을 제공함을 보여준다. 주요 기여는 데이터 액세스 패턴, 신뢰성 요구 사항, 비용-성능 트레이드오���을 기반으로 두 기법 간의 선택을 위한 프레임워크이며, 실패 확률과 시스템 오버헤드에 대한 실증 분석을 수반한다.

ABSTRACT

Data storage systems are more reliable than their individual components. In order to build highly reliable systems out of less reliable parts, systems introduce redundancy. In replicated systems, objects are simply copied several times with each copy residing on a different physical device. While such an approach is simple and direct, more elaborate approaches such as erasure coding can achieve equivalent levels of data protection while using less redundancy. This report examines the trade-offs in cost and performance between replicated and erasure encoded storage systems.

연구 동기 및 목표

• 스토리지 비용, 성능, 데이터 가용성 측면에서 복제와 에러 복구 코드화 간의 트레이드오프를 분석하기 위해.
• 데이터 액세스 패턴(핫 대비 콜드)이 복제와 에러 복구 코드화 사이의 최적 선택에 어떻게 영향을 미치는지 정량화하기 위해.
• 신뢰성 목표, 지연 시간 제약, 스토리지 효율성에 기반해 복제와 에러 복구 코드화 간의 선택을 위한 의사결정 프레임워크를 제공하기 위해.
• 특히 다중 데이터 센터 배포에서 데이터 손실(DL)과 데이터 가용성 불가(DU)의 차이를 명확히 하기 위해.
• 복구 시간과 실패 확률이 시스템 신뢰성과 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 개별 디스크 실패 비율에 기반해 데이터 손실 및 가용성 불확실성 확률을 계산하기 위해 비확률적 모델을 사용한다.
• m+n 에러 복구 코드 시스템에서 n개 이상의 실패가 발생할 가능성을 이항분포를 적용해 추정한다.
• 데이터 디스크 수(m)와 디스크 당 실패 확률(p)이 주어졌을 때, 목표 데이터 손실 확률(ε)을 달성하기 위해 필요한 패리티 디스크 수(n)를 유도하는 방정식을 도출한다.
• 다중 데이터 센터 배포의 시스템 오버헤드를 분석하며, 2개 이상의 데이터 센터에서 N+1 가용성을 확보하기 위해 보호 체계에 관계없이 100% 오버헤드가 필요하다는 것을 보여준다.
• 시스템 크기가 증가함에 따라 이항 실패 분포가 정규분포로 수렴하는 것을 모델링하며, 더 큰 시스템에서는 데이터 손실 확률이 점차 감소함을 증명한다.
• 활성(핫) 데이터는 복제하고 비활성(콜드) 데이터는 에러 복구 코드화하는 하이브리드 접근 방식을 제안하며, 액세스 빈도에 따라 데이터 이관을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 데이터 보호 메커니즘을 사용하더라도, 다중 데이터 센터 배포에서 어떤 단일 데이터 센터가 실패하더라도 데이터 가용성을 보장하기 위해 필요한 최소 스토리지 오버헤드는 얼마인가?
• RQ2 실패 확률과 복구 시간이 에러 복구 코드화 시스템과 복제 시스템의 신뢰성과 성능에 어떻게 영향을 미치는가?
• RQ3 에러 복구 코드화가 복제보다 스토리지 효율성과 비용 측면에서 네트워크 이득을 제공하는 조건은 무엇인가?
• RQ4 데이터 액세스 빈도(핫 대비 콜드)가 복제와 에러 복구 코드화 사이의 최적 선택에 어떻게 영향을 미치는가?
• RQ5 시스템 크기(m+n)가 증가함에 따라 에러 복구 코드화 시스템에서의 데이터 손실 확률에 어떤 영향을 미치는가?

주요 결과

• 다중 데이터 센터 배포에서는, 복제이든 에러 복구 코드화이든 간에 어떤 단일 데이터 센터가 실패하더라도 데이터 가용성을 보장하기 위해 100% 스토리지 오버헤드가 필요하다.
• 에러 복구 코드화는 동일한 데이터 손실 보호 수준을 유지하면서도 100% 이하의 스토리지 오버헤드를 제공하므로, 복제보다 더 뛰어난 스토리지 효율성을 가진다.
• 복제 방식은 더 낮은 지연 시간과 더 빠른 복구 시간을 제공하므로, 높은 액세스 빈도를 가지는 핫 데이터에 비해 열세를 보인다.
• 시스템 크기(m+n)가 비례적으로 증가함에 따라, 실패율이 임계값 이하일 경우 에러 복구 코드화 시스템의 데이터 손실 확률은 점차 0에 수렴한다.
• 에러 복구 코드화 시스템에서는 동일한 데이터 손실 보호 수준을 갖는 복제 시스템보다 복구 시간이 더 길어, 데이터 가용성 불가 확률이 더 높다.
• 활성 데이터에는 복제를, 비활성 데이터에는 에러 복구 코드화를 적용하는 하이브리드 전략은 성능과 비용을 모두 최적화하며, 마이크로소프트 애저와 같은 시스템에서 실제로 구현되어 있다.