[논문 리뷰] PACEMAKER: Avoiding HeART attacks in storage clusters with disk-adaptive redundancy

Saurabh Kadekodi, Francisco Maturana외 4명|arXiv (Cornell University)|2021. 03. 15.

Advanced Data Storage Technologies인용 수 6

한 줄 요약

PACEMAKER는 저장 클러스터에서 전이 오버헤드를 제거하기 위해 지능적으로 데이터 레이아웃을 구성하고 사전에 전이를 시작함으로써 전이 오버헤드를 해결하는 능동적 복제율 오케스트레이션 시스템이며, 피크 I/O 사용률을 5% 미만으로 낮추면서도 데이터 보호를 훼손하지 않은 채 14–20%의 스토리지 절감을 달성한다.

ABSTRACT

Data redundancy provides resilience in large-scale storage clusters, but imposes significant cost overhead. Substantial space-savings can be realized by tuning redundancy schemes to observed disk failure rates. However, prior design proposals for such tuning are unusable in real-world clusters, because the IO load of transitions between schemes overwhelms the storage infrastructure (termed transition overload). This paper analyzes traces for millions of disks from production systems at Google, NetApp, and Backblaze to expose and understand transition overload as a roadblock to disk-adaptive redundancy: transition IO under existing approaches can consume 100% cluster IO continuously for several weeks. Building on the insights drawn, we present PACEMAKER, a low-overhead disk-adaptive redundancy orchestrator. PACEMAKER mitigates transition overload by (1) proactively organizing data layouts to make future transitions efficient, and (2) initiating transitions proactively in a manner that avoids urgency while not compromising on space-savings. Evaluation of PACEMAKER with traces from four large (110K-450K disks) production clusters show that the transition IO requirement decreases to never needing more than 5% cluster IO bandwidth (0.2-0.4% on average). PACEMAKER achieves this while providing overall space-savings of 14-20% and never leaving data under-protected. We also describe and experiment with an integration of PACEMAKER into HDFS.

연구 동기 및 목표

• 반응형 전이가 수주에 걸쳐 클러스터 I/O의 100%를 소비해 데이터 보호 수준이 낮아지는 문제를 해결하기 위해 디스크 적응형 복제율에서 발생하는 전이 오버헤드라는 핵심 문제를 해결한다.
• AFR 증가가 감지된 후에야 긴급하고 I/O 집약적인 전이를 유도하는 기존의 반응형 접근 방식의 한계를 극복한다.
• 다양한 디스크 배치 패턴(트리클 및 스텝 배치)에서 효율적으로 작동하도록 디스크 적응형 복제율의 실용적 구현을 가능하게 하며, I/O 오버헤드를 최소화하면서 최대한의 스토리지 절감을 달성한다.
• 전이 단계 동안 데이터 보호 수준이 낮아지는 것을 방지하여 항상 데이터 신뢰성을 유지한다.
• 기존 방법보다 총 전이 I/O를 90% 이상 감소시키기 위해 능동적으로 데이터를 구성하고 전이를 스케줄링하는 시스템을 설계한다.

제안 방법

• 유사한 장애률과 배치 패턴을 가진 디스크를 그룹화하여 효율적인 대량 전이를 가능하게 하는 데이터 레이아웃을 사전에 재구성한다.
• 비모수적 커널 기반 AFR 추정(30일 밴드위드스 사용, 에판에니코프 커널)을 활용해 모수적 분포를 가정하지 않고 장애률을 추적한다.
• 관측된 AFR 추세를 기반으로 예측 모델을 사용해 장애률 임계값 도달 이전에 사전에 전이를 시작한다.
• 저영향도 전이 유형으로 전이를 분해한다: 디스크 비우기(유형 1), 대량 패리티 재계산(유형 2), 부분 데이터 마이그레이션(유형 3)으로, 저I/O 작업을 우선순위로 한다.
• 전이 I/O를 클러스터 대역폭의 5% 이내로 제한하기 위해 저활동 기간 동안 전이를 스케줄링하고 작업 부하를 균일하게 분산시킨다.
• 실제 환경에서의 타당성을 입증하고 생산 환경 유사 조건에서 종단 간 성능을 평가하기 위해 HDFS와 통합한다.

실험 결과

연구 질문

• RQ1 디스크 적응형 복제율 시스템에서 전이 오버헤드가 발생하는 원인은 무엇이며, 기존의 반응형 접근 방식이 실제 클러스터에서 실패하는 이유는 무엇인가?
• RQ2 다른 디스크 배치 패턴(트리클 대비 스텝 배치)은 복제율 전이의 I/O 비용과 시기적 요건에 어떤 영향을 미치는가?
• RQ3 능동적 데이터 레이아웃 및 전이 스케줄링은 총 전이 I/O를 줄이면서도 데이터 신뢰성을 유지하고 상당한 스토리지 절감을 달성할 수 있는가?
• RQ4 데이터 보호를 훼손하지 않으면서 견딜 수 있는 최대 I/O 오버헤드는 얼마이며, 이를 어떻게 강제로 구현할 수 있는가?
• RQ5 다양한 디스크 인구 및 장애률 행동을 보이는 대규모 생산 클러스터에서 시스템은 어떻게 성능을 발휘하는가?

주요 결과

• 전이 오버헤드는 디스크 적응형 복제율의 주요 장애 요소이다: 기존의 반응형 시스템은 전이 기간 동안 클러스터 I/O 대역폭의 최대 100%를 소비하며 수주에 걸쳐 지속된다.
• PACEMAKER는 피크 전이 I/O를 클러스터 대역폭의 5% 미만으로 낮추고 평균 I/O를 0.2–0.4%로 유지하여 평가된 모든 클러스터에서 전이 오버헤드를 완전히 제거한다.
• 네 대규모 클러스터(110K–450K 디스크)에서 평균 14–20%의 스토리지 절감을 달성했으며, Google Cluster2는 10만 개 이상의 디스크 절감(수백만 달러의 비용 절감)을 기록했다.
• 트리클 배치된 Backblaze 클러스터에서는 점진적이고 능동적인 전이로 인해 전이 I/O가 6년 이상에 걸쳐 지속적으로 분산되며 큰 I/O 피크가 발생하지 않는다.
• 전체 전이 I/O의 90% 이상이 능동적 레이아웃 및 스케줄링 덕분에 제거되었으며, 스텝 배치된 클러스터의 98% 전이가 효율적인 대량 패리티 재계산을 통해 수행되었다.
• 장애률 임계값 도달 이전에 전이를 시작함으로써 PACEMAKER는 데이터 보호 수준이 낮아지는 위험을 완전히 제거하여 지속적인 데이터 보호를 보장한다.