[论文解读] Large Scale Studies of Memory, Storage, and Network Failures in a Modern Data Center

Justin Meza|arXiv (Cornell University)|Jan 1, 2019

Advanced Data Storage Technologies被引用 10

一句话总结

本论文基于Facebook数据中心在长时间跨度内收集的真实运行数据，对DRAM、SSD及网络设备的故障进行了大规模实证研究，系统地建模了故障趋势。研究提出了并验证了多项可靠性改进措施，如页面离线（使内存错误减少67%）和物理页面随机化；同时揭示了SSD非单调的磨损行为及对系统设计至关重要的网络故障模式。

ABSTRACT

The workloads running in the modern data centers of large scale Internet service providers (such as Amazon, Baidu, Facebook, Google, and Microsoft) support billions of users and span globally distributed infrastructure. Yet, the devices used in modern data centers fail due to a variety of causes, from faulty components to bugs to misconfiguration. Faulty devices make operating large scale data centers challenging because the workloads running in modern data centers consist of interdependent programs distributed across many servers, so failures that are isolated to a single device can still have a widespread effect on a workload. In this dissertation, we measure and model the device failures in a large scale Internet service company, Facebook. We focus on three device types that form the foundation of Internet service data center infrastructure: DRAM for main memory, SSDs for persistent storage, and switches and backbone links for network connectivity. For each of these device types, we analyze long term device failure data broken down by important device attributes and operating conditions, such as age, vendor, and workload. We also build and release statistical models to examine the failure trends for the devices we analyze. Our key conclusion in this dissertation is that we can gain a deep understanding of why devices fail---and how to predict their failure---using measurement and modeling. We hope that the analysis, techniques, and models we present in this dissertation will enable the community to better measure, understand, and prepare for the hardware reliability challenges we face in the future.

研究动机与目标

• 理解大规模数据中心中DRAM、SSDs及网络设备的真实故障特性。
• 基于设备使用年限、厂商、工作负载及运行环境等因素，建模故障趋势。
• 在大规模环境中评估并部署提升可靠性的技术，如页面离线和物理页面随机化。
• 量化硬件故障对软件系统及高可用性Web服务的影响。
• 为提升未来数据中心可靠性提供数据驱动的模型与设计洞见。

提出的方法

• 收集并分析了Facebook服务器集群中14个月的DRAM错误日志，覆盖数十亿设备天的运行数据。
• 在数千台服务器的集群上大规模实施并评估了页面离线技术，以降低内存错误。
• 分析了近四年的SSD运行数据，追踪写入/读取量、擦除/复制操作次数、温度及电源状态。
• 研究了七年的数据中心内部网络故障事件及18个月的广域网维修工单，以评估可靠性趋势。
• 基于设备属性、工作负载及环境因素，构建了故障率的统计模型。
• 评估了物理页面随机化作为降低DRAM故障率的技术手段，并测量了其性能开销。

实验结果

研究问题

• RQ1 在真实数据中心环境中，DRAM错误率如何随设备使用年限、厂商及系统配置而变化？
• RQ2 基于闪存的SSD中主导的故障模式是什么？它们如何随磨损程度和运行条件演变？
• RQ3 数据中心内部及跨数据中心网络的故障如何影响系统可用性及软件设计？
• RQ4 在生产环境中，页面离线和物理页面随机化在多大程度上可降低内存错误率？
• RQ5 硬件故障特性如何影响大规模分布式系统的架构设计与可靠性？

主要发现

• 在数千台服务器的真实部署中，页面离线使内存错误率降低了67%。
• 物理页面随机化显示出提升可靠性的潜力，且性能开销可接受，但实际部署面临现实挑战。
• 通过系统设计选择（如采用低密度DIMM和每芯片更少的核心数），DRAM故障率可降低至多57.7%。
• SSD故障率并非随磨损单调上升；相反，其表现出明显的故障显现与检测阶段。
• 数据中心内部及跨数据中心网络的故障显著影响服务可用性，需在系统层面进行细致的缓解措施。
• 研究发现，故障模式高度依赖于设备属性、工作负载及环境条件，因此必须采用数据驱动建模以实现准确预测。