[论文解读] Failure Data Analysis of HPC Systems

Charng‐Da Lu|arXiv (Cornell University)|Feb 20, 2013

Distributed and Parallel Computing Systems参考文献 6被引用 15

一句话总结

本文分析了NCSA三套HPC系统在8–24个月内的真实故障数据，揭示其可用性为98.7–99.8%，软件停机导致大多数停机事件，但硬件停机和维护导致最长的停机时间。研究识别出非指数分布的故障模式及故障事件的相关性，为大规模HPC系统的可靠性建模提供了关键洞见。

ABSTRACT

Continuous availability of HPC systems built from commodity components have become a primary concern as system size grows to thousands of processors. In this paper, we present the analysis of 8-24 months of real failure data collected from three HPC systems at the National Center for Supercomputing Applications (NCSA) during 2001-2004. The results show that the availability is 98.7-99.8% and most outages are due to software halts. On the other hand, the downtime are mostly contributed by hardware halts or scheduled maintenance. We also used failure clustering analysis to identify several correlated failures.

研究动机与目标

• 理解由通用组件构建的大规模HPC系统的故障行为，以提升系统可靠性。
• 识别停机的根本原因及其对系统可用性和停机时间的影响。
• 分析故障分布并检测相关故障，以支持更优的可靠性建模与系统设计。
• 提供实证数据以验证性能可靠性模型，并支持HPC环境中的调度与资源表征。

提出的方法

• 在8–24个月内，从三套HPC系统——SGI Origin 2000（O2K）、Platinum Beowulf集群和Titan Beowulf集群——收集真实故障日志。
• 将停机事件分类为五类：软件停机（SW）、硬件停机（HW）、计划内维护（M）、电源/空调故障（PWR），以及因未发生而被排除的网络故障。
• 基于每日停机日志，计算关键指标：可用性（%）、停机时间（天）、平均故障间隔时间（MTBF）和平均修复时间（MTTR）。
• 对故障间隔时间（TBF）和修复时间（TTR）进行统计分析，检验其是否符合泊松分布或重尾分布。
• 通过识别节点间的时间模式和大规模停机事件，开展故障聚类分析以检测相关故障。
• 利用系统特定数据（包括作业调度约束和硬件配置）验证结果，以准确理解故障影响的上下文。

实验结果

研究问题

• RQ1 由通用组件构成的大规模HPC系统的实际可用性是多少？其在不同系统架构间如何变化？
• RQ2 哪些故障类型（软件、硬件、维护）最频繁发生？哪些对系统停机时间贡献最大？
• RQ3 故障间隔时间（TBF）和修复时间（TTR）是否符合指数分布，还是表现出重尾行为？
• RQ4 节点间是否存在相关故障的模式？若有，其成因和时间特征是什么？
• RQ5 不同系统类型（大型机与PC集群）的故障模式有何差异？这对可靠性建模有何影响？

主要发现

• HPC系统的可用性范围为98.7%至99.8%，其中O2K系统为98.7%，Titan系统为99.8%。
• 软件停机是停机事件中最常见的原因（占总停机事件的59%），但硬件停机和计划内维护导致了最长的停机时间。
• MTBF值差异显著：O2K的MTBF为1.0天，而Titan的MTBF为18.5天，表明PC集群具有更高的可靠性。
• 所有系统的TBF和TTR分布均表现出重尾行为，与指数分布假设相矛盾。
• 所有系统均检测到相关故障：O2K因软件和硬件问题出现故障聚类，Titan则因电源故障和软件停机导致三次重大相关停机事件。
• 计划内维护对停机时间有显著影响——在M4节点上占比高达49%，在M2节点上高达75%——尽管是计划内操作，仍凸显其对系统可用性的重大影响。