[논문 리뷰] Rack-Aware Regenerating Codes for Data Centers

Hanxu Hou, Patrick P. C. Lee외 2명|arXiv (Cornell University)|2018. 02. 12.

Advanced Data Storage Technologies참고 문헌 42인용 수 4

한 줄 요약

이 논문은 데이터 센터에서 스토리지 재현성과 복구 효율성 간 최적의 트레이드오프를 달성하면서도 크로스랙 복구 대역폭을 최소화하는 새로운 종류의 에러코드인 레이크-aware 재생 코드(RRC)를 제안한다. 레이크 간 데이터 구조화와 계층적 복구 모델을 활용함으로써 RRC는 고전적인 재생 코드보다 엄격히 낮은 크로스랙 대역폭을 달성하며, 최소 스토리지 및 최소 대역폭 모드 모두에서 최적인 정확한 복구 구조를 제공한다.

ABSTRACT

Erasure coding is widely used for massive storage in data centers to achieve high fault tolerance and low storage redundancy. Since the cross-rack communication cost is often high, it is critical to design erasure codes that minimize the cross-rack repair bandwidth during failure repair. In this paper, we analyze the optimal trade-off between storage redundancy and cross-rack repair bandwidth specifically for data centers, subject to the condition that the original data can be reconstructed from a sufficient number of any non-failed nodes. We characterize the optimal trade-off curve under functional repair, and propose a general family of erasure codes called rack-aware regenerating codes (RRC), which achieve the optimal trade-off. We further propose exact repair constructions of RRC that have minimum storage redundancy and minimum cross-rack repair bandwidth, respectively. We show that (i) the minimum storage redundancy constructions support a wide range of parameters and have cross-rack repair bandwidth that is strictly less than that of the classical minimum storage regenerating codes in most cases, and (ii) the minimum cross-rack repair bandwidth constructions support all the parameters and have less cross-rack repair bandwidth than that of the minimum bandwidth regenerating codes for almost all of the parameters.

연구 동기 및 목표

• 데이터 센터 스토리지 시스템에서 크로스랙 통신 비용이 높은 문제를 해결하기 위해 크로스랙 복구 대역폭을 최소화하는 에러코드를 설계한다.
• 레이크 구성된 데이터 센터에서 功能 복구 기준으로 스토리지 재현성과 크로스랙 복구 대역폭 간 최적의 트레이드오프를 규명한다.
• 이 최적 트레이드오프를 달성하는 일반적인 코드 가족인 레이크-aware 재생 코드(RRC)를 개발한다.
• 최소 스토리지 및 최소 대역폭 설정 모두에서 최적인 정확한 복구 버전의 RRC를 구축한다.
• 다양한 코드 파rameter를 지원하고 최소한의 간섭 레이크 트래픽으로 효율적인 복구를 가능하게 하여 실용적 적용 가능성을 확보한다.

제안 방법

• 노드를 레이크 단위로 그룹화하는 레이크 인식 코딩 모델을 제안하며, 간섭 레이크 데이터 전송을 통제하여 복구 트래픽을 최소화한다.
• 정보 흐름 그래프에 대한 이론적 최소 컷 경계를 유도하여 스토리지와 크로스랙 복구 대역폭 간 최적 트레이드오프를 포착한다.
• 비교적 비선형 함수를 기반으로 한 조각별 선형 함수를 사용하여 스토리지-복구 대역폭 트레이드오프를 수식화한다.
• 유한체 위에서 다항식 방정식 시스템을 풀어 정확한 복구 구조를 설계하며, MDS 성질과 복구 가능성을 보장한다.
• Schwartz-Zippel 정리를 적용하여 올바른 복구 및 재구성 확률을 높이기 위해 필요한 유한체 크기를 근사한다.
• 계층적 복구 전략을 적용한다: 먼저 레이크 내부에서 부분 복구를 수행한 후 간섭 레이크 조합을 통해 전체 복구를 완료함으로써 총 크로스랙 트래픽을 감소시킨다.

실험 결과

연구 질문

• RQ1 레이크 구성된 데이터 센터에서 스토리지 재현성과 크로스랙 복구 대역폭 간의 기본 트레이드오프는 무엇인가?
• RQ2 임의의 코드 파rameter를 지원하면서도 이 최적 트레이드오프를 달성할 수 있는 일반적인 에러코드 가족을 설계할 수 있는가?
• RQ3 MDS 성질을 유지하면서 최소한의 크로스랙 대역폭으로 정확한 복구를 어떻게 달성할 수 있는가?
• RQ4 제안된 RRC 구조에서 올바른 복구 및 재구성을 보장하기 위해 필요한 최소 유한체 크기는 얼마인가?
• RQ5 크로스랙 대역폭 측면에서 RRC의 성능은 고전적인 재생 코드와 더블 재생 코드에 비해 어떻게 비교되는가?

주요 결과

• 스토리지 재현성과 크로스랙 복구 대역폭 간 최적 트레이드오프는 비교적 비선형 함수를 기반으로 한 조각별 선형 함수로 특징지어지며, 복구되지 않은 노드 수와 복구 정도에 따라 달라진다.
• 최소 스토리지 재현성 RRC 구조는 최소 스토리지 재생(MSR) 코드와 유사한 스토리지 효율성을 달성하지만, 대부분의 파rameter 영역에서 엄격히 낮은 크로스랙 복구 대역폭을 제공한다.
• 최소 크로스랙 복구 대역폭 RRC 구조는 거의 모든 파rameter 조합에서 최소 대역폭 재생(MBR) 코드보다 대역폭 절감 효과를 보인다.
• 모든 유효한 코드 파rameter에 대해 정확한 복구 RRC 구조는 실현 가능하며, Schwartz-Zippel 정리를 통해 유도된 다항식 표현에 기반한 유한체 크기의 상한선을 필요로 한다.
• 유한체 크기가 복구 방정식 및 변수의 수에 기반한 임계값을 초과할 경우, 복구 과정은 높은 확률로 성공을 보장한다.
• 제안된 RRC 모델은 유연한 스토리지 크기와 복구 정도를 지원하여 다양한 워크로드를 가진 실제 데이터 센터 구현에 적합하다.