[논문 리뷰] The CORE Storage Primitive: Cross-Object Redundancy for Efficient Data Repair & Access in Erasure Coded Storage

Kyumars Sheykh Esmaili, Lluís Pàmies-Juàrez외 1명|arXiv (Cornell University)|2013. 02. 21.

Advanced Data Storage Technologies참고 문헌 31인용 수 15

한 줄 요약

이 논문은 분산 스토리지 시스템에서 수리 효율성과 장애 시 읽기 성능을 크게 향상시키기 위해 기존의 에러 복구 코드와 RAID-4 스타일의 객체 간 패리티를 조합한 새로운 스토리지 프리미티브인 CORE를 제안한다. 객체 간에 에러 복구된 데이터 블록에 대해 열 방향으로 XOR 패리티를 적용함으로써, 전통적인 에러 복구 코드 대비 수리 대역폭을 최대 50% 감소시키고 단일 노드 복구 속도를 75% 향상시키며, 저장소 오버헤드가 20% 증가하는 것만으로도 높은 장애 내성 성능을 유지를 한다.

ABSTRACT

Erasure codes are an integral part of many distributed storage systems aimed at Big Data, since they provide high fault-tolerance for low overheads. However, traditional erasure codes are inefficient on reading stored data in degraded environments (when nodes might be unavailable), and on replenishing lost data (vital for long term resilience). Consequently, novel codes optimized to cope with distributed storage system nuances are vigorously being researched. In this paper, we take an engineering alternative, exploring the use of simple and mature techniques -juxtaposing a standard erasure code with RAID-4 like parity. We carry out an analytical study to determine the efficacy of this approach over traditional as well as some novel codes. We build upon this study to design CORE, a general storage primitive that we integrate into HDFS. We benchmark this implementation in a proprietary cluster and in EC2. Our experiments show that compared to traditional erasure codes, CORE uses 50% less bandwidth and is up to 75% faster while recovering a single failed node, while the gains are respectively 15% and 60% for double node failures.

연구 동기 및 목표

• 노드 장애 상황에서 데이터 손실 복구 및 장애 시 읽기 성능이 열악한 기존의 에러 복구 코드의 비효율성을 해결하기 위해.
• 복잡한 신규 코드 대신 기존에 검증된 기술을 조합한 실용적이고 공학 중심의 대안을 탐색하기 위해: 표준 에러 복구 코드와 RAID-4 스타일의 열 패리티를 융합한다.
• HDFS와 호환 가능한 일반 목적의 블록 수준 스토리지 프리미티브로서 CORE를 설계하고 구현하기 위해.
• 실제 클러스터와 AWS EC2 환경에서 전통적인 MDS 코드와 최신의 국소 복구 코드(LRC)와의 성능을 평가하기 위해.
• 네트워크 및 계산 능력이 제한된 환경에서 수리 비용을 추가로 줄이기 위해 수리 스케줄링 및 데이터 액세스 패턴을 최적화하기 위해.

제안 방법

• 각 데이터 객체에 대해 독립적으로 표준 (n,k) MDS 에러 복구 코드(예: Reed-Solomon)를 적용하여 각 객체당 k개의 데이터 블록과 m개의 패리티 블록을 생성한다.
• 각 행이 객체의 인코딩된 블록을 나타내는 행렬을 구성하고, 서로 다른 객체의 블록들 간의 열 방향 XOR 패리티(RAID-4 스타일)를 하단 행에 추가한다.
• 열 방향 패리티를 활용해 효율적이고 저비용의 수리를 가능하게 한다: 단일 노드 장애 시, 복잡한 Reed-Solomon 복호화를 피하기 위해 소수의 블록(예: 예시에서 3개)에 대한 XOR 연산만으로도 수리를 수행할 수 있다.
• CORE를 HDFS-RAID의 투명한 스토리지 계층으로 통합하여, 기존 HDFS 데이터와 공존할 수 있도록 하며 HDFS의 블록 관리 기능을 활용한다.
• 수리 시간과 데이터 전송을 최소화하기 위해 세 가지 수리 스케줄링 알고리즘(행 우선, 열 우선, RGS(수리 그룹 스케줄링))을 구현하고 평가한다.
• 저장소 오버헤드, 장애 내성, 수리 효율성 간의 균형을 고려해 CORE 행렬의 파라미터(예: (9,6,3) 대비 (14,12,5))를 최적화한다.

실험 결과

연구 질문

• RQ1 표준 에러 복구 코드와 객체 간 RAID-4 스타일 패리티를 조합함으로써, 기존의 에러 복구 코드 대비 수리 대역폭과 수리 시간을 크게 줄일 수 있는가?
• RQ2 실제로 운영 중인 시스템(예: Windows Azure)에서 사용되는 최신 국소 복구 코드(LRC)와 비교했을 때, CORE의 성능은 어떠한가?
• RQ3 제안된 수리 스케줄링 알고리즘(Row-First, Column-First, RGS)이 네트워크 제약과 계산 능력 제약이 있는 환경에서 수리 완료 시간을 얼마나 줄일 수 있는가?
• RQ4 CORE에서 저장소 오버헤드와 수리 효율성 간의 트레이드오프는 어떠한가? 그리고 오직 20%의 오버헤드로도 근사 최적의 장애 내성 성능을 달성할 수 있는가?
• RQ5 과도한 블록 읽기 방지(Opt1)와 수리 의존성 최소화(Opt2) 등의 최적화 기법이 실제 클러스터에서 성능 향상에 얼마나 기여하는가?

주요 결과

• 계산 능력이 제한된 클러스터에서 단일 노드 장애 복구 시, 전통적인 에러 복구 코드 대비 CORE는 대역폭 사용을 50% 감소시키고 수리 시간을 최대 75% 단축시킨다.
• 이중 노드 장애 상황에서는 전통적인 에러 복구 코드 대비 CORE가 대역폭 사용을 15% 줄이고 수리 속도를 60% 빠르게 한다.
• 특히 네트워크 제약이 있는 환경에서, Column-First 수리 스케줄링 알고리즘이 Row-First 및 RGS보다 데이터 전송을 더 효과적으로 최소화한다.
• 과도한 블록 읽기 방지를 위한 최적화 O1은 네트워크가 병목 현상인 클러스터에서 성능 향상에 뚜렷한 기여를 하며, 특히 (9,6,3) 구성에서 두드러진다.
• 수리 의존성을 줄이는 최적화 O2는 계산 능력이 제한된 클러스터에서 수리 시간을 추가로 단축시키지만, O1만큼의 성능 향상은 이루어지지 않는다.
• CORE 행렬 크기를 (9,6,3)에서 (14,12,5)로 증가시킬 경우, 특히 계산 능력 제약이 있는 환경에서 더 높은 성능 향상을 기록한다.