[논문 리뷰] Large Scale Studies of Memory, Storage, and Network Failures in a Modern Data Center

Justin Meza|arXiv (Cornell University)|2019. 01. 01.

Advanced Data Storage Technologies인용 수 10

한 줄 요약

이 학위논문은 페이스북의 데이터센터에서 장기간에 걸쳐 DRAM, SSD, 네트워크 장치의 고장을 대규모로 실용적인 운영 데이터를 활용해 모델링한 실증 연구를 제시한다. 페이지 오프라인화(메모리 오류를 67% 감소) 및 물리적 페이지 랜덤화와 같은 신뢰성 향상 기법을 제안하고 검증하였으며, SSD의 비단조화된 마모 행동과 시스템 설계에 핵심적인 영향을 미치는 네트워크 고장 패턴을 드러냈다.

ABSTRACT

The workloads running in the modern data centers of large scale Internet service providers (such as Amazon, Baidu, Facebook, Google, and Microsoft) support billions of users and span globally distributed infrastructure. Yet, the devices used in modern data centers fail due to a variety of causes, from faulty components to bugs to misconfiguration. Faulty devices make operating large scale data centers challenging because the workloads running in modern data centers consist of interdependent programs distributed across many servers, so failures that are isolated to a single device can still have a widespread effect on a workload. In this dissertation, we measure and model the device failures in a large scale Internet service company, Facebook. We focus on three device types that form the foundation of Internet service data center infrastructure: DRAM for main memory, SSDs for persistent storage, and switches and backbone links for network connectivity. For each of these device types, we analyze long term device failure data broken down by important device attributes and operating conditions, such as age, vendor, and workload. We also build and release statistical models to examine the failure trends for the devices we analyze. Our key conclusion in this dissertation is that we can gain a deep understanding of why devices fail---and how to predict their failure---using measurement and modeling. We hope that the analysis, techniques, and models we present in this dissertation will enable the community to better measure, understand, and prepare for the hardware reliability challenges we face in the future.

연구 동기 및 목표

• 대규모 데이터센터에서의 DRAM, SSD, 네트워크 장치의 실제 고장 특성을 이해하기 위해.
• 장치 연령, 제조사, 워크로드, 운영 조건 등에 따라 고장 추세를 모델링하기 위해.
• 페이지 오프라인화 및 물리적 페이지 랜덤화와 같은 신뢰성 향상 기법을 대규모로 평가하고 구현하기 위해.
• 하드웨어 고장이 소프트웨어 시스템과 고가용성 웹 서비스에 미치는 영향을 정량화하기 위해.
• 미래의 데이터센터 신뢰성 향상을 위한 데이터 기반 모델링 및 설계 통찰을 제공하기 위해.

제안 방법

• 페이스북 서버 플릿에서 수십억 개의 장치-일 단위 동안 14개월 간의 DRAM 오류 로그를 수집하고 분석하였다.
• 수천 대의 서버 클러스터에서 페이지 오프라인화를 대규모로 구현하고 평가하여 메모리 오류를 감소시켰다.
• 거의 4년 간의 SSD 운영 데이터를 분석하여 쓰기/읽기량, 지우기/복사 작업 수, 온도, 전력 소비량을 추적하였다.
• 데이터센터 내 네트워크 사고 7년 분량과 WAN 수리 티켓 18개월 분량을 분석하여 신뢰성 추세를 평가하였다.
• 장치 특성, 워크로드, 환경 요인에 기반한 고장률 통계 모델을 구축하였다.
• 물리적 페이지 랜덤화 기법이 DRAM 장애율을 낮추는 데 기여할 수 있음을 평가하고 성능 오버헤드를 측정하였다.

실험 결과

연구 질문

• RQ1 실제 데이터센터에서 DRAM 오류율은 장치 연령, 제조사, 시스템 구성에 따라 어떻게 달라지나?
• RQ2 플래시 기반 SSD에서 지배적인 고장 패턴은 무엇이며, 마모와 운영 조건에 따라 어떻게 변화하는가?
• RQ3 내부 및 외부 데이터센터 네트워크의 고장은 시스템 가용성과 소프트웨어 설계에 어떤 영향을 미치는가?
• RQ4 페이지 오프라인화와 물리적 페이지 랜덤화는 실제 환경에서 메모리 오류율을 얼마나 줄일 수 있는가?
• RQ5 하드웨어 고장 특성은 대규모 분산 시스템의 설계와 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 실제 수천 대의 서버에서의 실증 환경에서 페이지 오프라인화로 인해 메모리 오류율이 67% 감소하였다.
• 물리적 페이지 랜덤화는 수용 가능한 성능 오버헤드를 감안할 때 신뢰성을 향상시킬 잠재력을 보였지만, 실제 구현에선 현실 도메인의 도전 과제에 직면하였다.
• 시스템 설계 선택 사항인 저밀도 DIMM 사용과 칩당 코어 수 감소를 통해 DRAM 고장률을 최대 57.7%까지 낮출 수 있었다.
• SSD 고장률은 마모에 따라 단조롭게 증가하지 않으며, 고장 발생 및 탐지 단계가 뚜렷하게 나타났다.
• 내부 및 외부 데이터센터 네트워크의 고장은 서비스 가용성에 상당한 영향을 미치며, 철저한 시스템 수준의 대응 조치가 필요하다는 점이 확인되었다.
• 고장 패턴은 장치 특성, 워크로드, 환경 조건에 매우 의존적이며, 정확한 예측을 위해서는 데이터 기반 모델링이 필수적임을 밝혀냈다.