[論文レビュー] The importance and need for system monitoring and analysis in HPC operations and research

Florina M. Ciorba|arXiv (Cornell University)|Jan 1, 2017

Distributed and Parallel Computing Systems被引用数 3

ひとこと要約

本論文は、ハイパフォーマンスコンピューティング（HPC）における包括的で包括的なシステム監視と分析を提唱し、ソフトウェアとハードウェアの相互作用の理解を深め、HPC環境におけるシステム設計の改善、効率性、信頼性、生産性の向上を図る包括的システムモデルの構築を目指している。このアプローチは、大規模な監視データを活用して予測モデリングと運用最適化を可能にする。

ABSTRACT

In this work, system monitoring and analysis are discussed in terms of their significance and benefits for operations and research in the field of high-performance computing (HPC). HPC systems deliver unique insights to computational scientists from different disciplines. It is argued that research in HPC is also computational in nature, given the massive amounts of monitoring data collected at various levels of an HPC system. The vision of a comprehensive system model developed based on holistic monitoring and analysis is also presented. The goal and expected outcome of such a model is an improved understanding of the intricate interactions between today's software and hardware, and their diverse usage patterns. The associated modeling, monitoring, and analysis challenges are reviewed and discussed. The envisioned comprehensive system model will provide the ability to design future systems that are better understood before use, easier to maintain and monitor, more efficient, more reliable, and, therefore, more productive. The paper is concluded with a number of recommendations towards realizing the envisioned system model.

研究の動機と目的

• 監視を通じてソフトウェアとハードウェアの相互作用をより深く理解できるようにすることで、HPCシステムの複雑化に対処すること。
• 包括的な監視データを活用して、システム設計、保守、運用効率の向上を図ること。
• ハードウェアおよびソフトウェアの各レイヤーにおける多様な使用パターンとシステム動作を捉える統一されたシステムモデルの構築。
• 予防的監視と分析を可能にすることで、システムの停止時間を短縮し、生産性を向上させること。
• 導入前のデータドリブンなインサイトを活用して、将来のHPCシステム開発を支援すること。

提案手法

• 包括的監視フレームワークを用いて、ハードウェア、ソフトウェア、ワークロードのすべてのシステムレイヤーにわたる監視データを収集する。
• 異種の監視データストリームを統合し、統一されたシステムモデルとして構築し、レイヤー間の分析を可能にする。
• 大規模な監視データを処理する計算科学研究手法を適用し、これを第一義的な研究データとして扱う。
• 得られたインサイトを活用して、パフォーマンスボトルネックや障害パターンを含むシステム動作のモデリングを行う。
• 観察された使用パターンと障害パターンに基づいて予測モデルを開発し、システム最適化を支援する。
• 予防的システム管理と設計を支援する包括的システムモデルのビジョンを提示する。

実験結果

リサーチクエスチョン

• RQ1 包括的監視と分析は、HPCソフトウェアとハードウェアの複雑な相互作用の理解をどのように向上させ得るか？
• RQ2 大規模HPC監視データのモデリングと分析における主な課題は何か？
• RQ3 監視データは、より信頼性が高く、効率的で、保守性の高いHPCシステムの設計にどのように活用できるか？
• RQ4 データドリブンモデリングは、システムの生産性と運用パフォーマンスの向上にどのような役割を果たすか？
• RQ5 HPC環境における多様な使用パターンの分析から得られるシステムレベルのインサイトは何か？

主な発見

• 包括的なシステム監視により、複雑なソフトウェアとハードウェアの相互作用を捉える包括的システムモデルの構築が可能になる。
• HPC研究は本質的に計算的であり、大規模な監視データの分析に依存している。
• 提示されたシステムモデルは、システム設計、保守、運用効率の向上を支援する。
• 監視と分析により、データドリブンなインサイトを活用したより信頼性が高く、効率的で生産性の高いHPCシステムが実現される。
• 監視データをシステムモデリングに統合することで、システムの停止時間が短縮され、システムの理解が深まる。
• 本論文は、HPC監視データのモデリングと分析における主な課題を特定しており、これらを解決しなければシステムモデリングの潜在能力を十分に発揮できない。