[論文レビュー] Tracking System Behaviour from Resource Usage Data

Niyazi Sorkunlu, Varun Chandola+1 more|arXiv (Cornell University)|May 30, 2017

Software System Performance and Reliability被引用数 8

ひとこと要約

本稿では、コンピュータノード、パフォーマンスメトリクス（例：CPU負荷、メモリ）、時間の3次元リソース使用量データを3-wayテンソルとしてモデル化することで、ハイパーパフォーマンスコンピューティング（HPC）システムの動作を監視するテンソルベースの手法を提案する。低ランクテンソル分解を用いて再構成誤差を計算し、オンラインでパフォーマンス障害を検出する。テキサス大学アーリン・コンピューターセンタ（TACC）のLonestar4データにおいて、実際のシステム障害と強い相関関係を示した。

ABSTRACT

Resource usage data, collected using tools such as TACC Stats, capture the resource utilization by nodes within a high performance computing system. We present methods to analyze the resource usage data to understand the system performance and identify performance anomalies. The core idea is to model the data as a three-way tensor corresponding to the compute nodes, usage metrics, and time. Using the reconstruction error between the original tensor and the tensor reconstructed from a low rank tensor decomposition, as a scalar performance metric, enables us to monitor the performance of the system in an online fashion. This error statistic is then used for anomaly detection that relies on the assumption that the normal/routine behavior of the system can be captured using a low rank approx- imation of the original tensor. We evaluate the performance of the algorithm using information gathered from system logs and show that the performance anomalies identified by the proposed method correlates with critical errors reported in the system logs. Results are shown for data collected for 2013 from the Lonestar4 system at the Texas Advanced Computing Center (TACC)

研究の動機と目的

• 従来のHPC監視手法が強い、孤立した異常しか検出できないという限界を是正するため、ノード、メトリクス、時間の3次元にわたるシステム全体の相関関係を分析すること。
• 複数の次元にわたる微弱で、弱く現れる異常を捉える統合的かつシステムレベルのパフォーマンス監視手法を構築すること。
• 多次元リソース使用量データから単一の解釈可能な誤差指標を生成し、オンラインでの異常検出を可能とすること。
• テキサス大学アーリン・コンピューターセンタ（TACC）のLonestar4クラスタから得た実世界のHPCログおよびシステムデータを用いて、手法を検証すること。
• 深刻化する前にパフォーマンス問題を早期に検出可能とし、システムの信頼性と運用効率を向上させること。

提案手法

• HPCリソース使用量データを、計算ノード、パフォーマンスメトリクス（例：CPU負荷、メモリ）および時間という3次元を持つ3-wayテンソルとしてモデル化する。
• 元のテンソルを低次元化することで複雑さを低減するため、低ランクテンソル分解（例：Tucker分解やCP分解）を適用する。
• 元のテンソルとその低ランク近似との間の再構成誤差をスカラーのパフォーマンス指標として計算する。
• 再構成誤差を1変量時系列として用い、システムの健全性をリアルタイムで監視する。
• 正常動作時における残差が安定であると仮定し、再構成誤差の顕著な上昇を異常と特定する。
• システムメッセージログに記録された深刻な障害と照合することで、検出された異常を検証する。

実験結果

リサーチクエスチョン

• RQ1 低ランクテンソル分解は、ノード、メトリクス、時間の3次元にわたるHPCシステムの正常動作を効果的に捉えることができるか？
• RQ2 テンソル分解からの再構成誤差は、システムのパフォーマンス異常を信頼できる指標として機能するか？
• RQ3 従来のノード単位またはメトリクス単位のしきい値設定手法では検出できない異常を、本手法は検出できるか？
• RQ4 再構成誤差は、ログに記録された実際のシステム障害とどの程度相関するか？
• RQ5 複数のノードやメトリクスにまたがる微弱に現れる異常を、本手法は検出できるか？

主な発見

• 低ランクテンソル分解からの再構成誤差は、正常なシステム動作下で安定しており、パフォーマンス指標としての有効性が裏付けられた。
• 再構成誤差の異常な上昇は、Lustreインデックス障害やカーネルセグメンテーションフォールトなどの、メッセージログに記録された実際のシステム障害と強く相関していた。
• 本手法は、Lonestar4データセットにおいて10件の明確な異常時間窓を検出し、すべてがシステムログで確認された。
• 本手法は、ノード単位またはメトリクス単位のしきい値設定では検出できない異常を特定できており、システム全体にわたる微弱な問題に高い感度を示した。
• 誤差指標により、システム健全性の時間的推移を効果的に可視化でき、予防的システム管理を支援した。
• 本手法は、システム次元間の相関関係を捉えることで、従来の異常検出手法に比べ、誤検出（偽陰性）を低減した。