[論文レビュー] Failure Data Analysis of HPC Systems

Charng‐Da Lu|arXiv (Cornell University)|Feb 20, 2013

Distributed and Parallel Computing Systems参考文献 6被引用数 15

ひとこと要約

本論文は、NCSAの3つのHPCシステムにおける8〜24か月間の実際の障害データを分析し、98.7〜99.8％の可用性を明らかにした。障害の大部分はソフトウェア停止によるが、ハードウェア停止および保守作業が最も長いダウンタイムを引き起こしている。非指数分布の故障分布と相関する故障イベントが特定され、大規模HPCシステムにおける信頼性モデリングに貴重な知見を提供している。

ABSTRACT

Continuous availability of HPC systems built from commodity components have become a primary concern as system size grows to thousands of processors. In this paper, we present the analysis of 8-24 months of real failure data collected from three HPC systems at the National Center for Supercomputing Applications (NCSA) during 2001-2004. The results show that the availability is 98.7-99.8% and most outages are due to software halts. On the other hand, the downtime are mostly contributed by hardware halts or scheduled maintenance. We also used failure clustering analysis to identify several correlated failures.

研究の動機と目的

• コンmodity部品で構築された大規模HPCシステムの障害行動を理解し、システム信頼性を向上させること。
• 障害の根本原因と、システム可用性およびダウンタイムに与える影響を特定すること。
• 故障分布の分析と相関故障の検出を通じて、より良い信頼性モデリングおよびシステム設計を支援すること。
• パフォーマビリティモデルの検証に役立てる実証的データを提供し、HPC環境におけるスケジューリングおよびリソース特性の特定を支援すること。

提案手法

• 8〜24か月間にわたり、SGI Origin 2000（O2K）、プラチナ・ビーロウルフクラスタ、タイタン・ビーロウルフクラスタの3つのHPCシステムから実際の障害ログを収集した。
• 障害を5つのタイプに分類：ソフトウェア停止（SW）、ハードウェア停止（HW）、計画的保守（M）、電源／空調（PWR）、ネットワーク障害（0件の発生のため除外）。
• 日次障害ログを用いて、可用性（％）、ダウンタイム（日数）、平均故障間隔（MTBF）、平均修復時間（MTTR）の主な指標を算出した。
• 故障間隔時間（TBF）および修復時間（TTR）の統計的分析を実施し、ポアソン分布および重尾分布の適合性を検証した。
• 時間的パターンおよびノード全体にわたる大規模障害を特定することで、故障クラスタリング分析を用いて相関故障を検出した。
• システム固有のデータ（ジョブスケジューリング制約およびハードウェア構成）を用いて結果を検証し、障害の影響を文脈づけて解釈した。

実験結果

リサーチクエスチョン

• RQ1 コンmodity部品で構築された大規模HPCシステムの実際の可用性はどの程度で、異なるシステムアーキテクチャ間でどのように変動するか？
• RQ2 障害タイプ（ソフトウェア、ハードウェア、保守）の中で、どれが最も頻発し、どれがダウンタイムに最も大きな影響を与えているか？
• RQ3 故障間隔時間（TBF）および修復時間（TTR）は指数分布に従うか、それとも重尾分布を示すか？
• RQ4 ノード間で相関する障害のパターンは存在するか？もしあるならば、その原因と時間的特性は何か？
• RQ5 システムタイプ（メインフレーム対PCクラスタ）ごとに障害パターンはどのように異なるのか？信頼性モデリングにどのような影響を及えるか？

主な発見

• HPCシステムの可用性は98.7％から99.8％の間であり、O2Kシステムは98.7％、タイタンは99.8％を達成した。
• ソフトウェア停止が障害の最も頻発する原因（全障害の59％）であったが、ハードウェア停止および計画的保守作業が最も長いダウンタイムを引き起こした。
• MTBF値には顕著な差が見られた：O2Kは1.0日、タイタンは18.5日であり、PCクラスタの方が信頼性が高かった。
• すべてのシステムのTBFおよびTTR分布は重尾分布を示し、指数分布の仮定とは矛盾した。
• すべてのシステムで相関障害が検出された：O2Kではソフトウェアおよびハードウェア問題によるクラスタリングが観察されたが、タイタンでは電源障害およびソフトウェア停止による3件の主要な相関障害が確認された。
• 計画的保守はダウンタイムに顕著な貢献をした—M4では最大49％、M2では75％のダウンタイムを占めており、計画的であるにもかかわらずシステム可用性に大きな影響を与えていた。