[論文レビュー] Workload Analysis of Blue Waters

Matthew D. Jones, Joseph P. White+13 more|arXiv (Cornell University)|Mar 2, 2017

Maritime Navigation and Safety被引用数 19

ひとこと要約

本論文は、ブルーワーターズペタスケールスーパーコンピュータの包括的なワークロード分析を提示し、多様な科学的ワークロードにおける計算パターン、I/O動作、メモリアクセス、通信要件を検証している。10万件を超えるジョブからのデータを用いて、主なパフォーマンスボトルネックとアーキテクチャ的トレードオフを同定し、将来のHPCシステムの最適化および次世代スーパーコンピュータ設計を支援するための重要な知見を提供する。

ABSTRACT

Blue Waters is a Petascale-level supercomputer whose mission is to enable the national scientific and research community to solve "grand challenge" problems that are orders of magnitude more complex than can be carried out on other high performance computing systems. Given the important and unique role that Blue Waters plays in the U.S. research portfolio, it is important to have a detailed understanding of its workload in order to guide performance optimization both at the software and system configuration level as well as inform architectural balance tradeoffs. Furthermore, understanding the computing requirements of the Blue Water's workload (memory access, IO, communication, etc.), which is comprised of some of the most computationally demanding scientific problems, will help drive changes in future computing architectures, especially at the leading edge. With this objective in mind, the project team carried out a detailed workload analysis of Blue Waters.

研究の動機と目的

• ブルーワーターズスーパーコンピュータにおける本番ワークロードの計算、I/O、メモリ、通信特性を理解すること。
• 大規模な科学的HPCワークロードにおけるパフォーマンスボトルネックおよびシステムレベルの非効率要因を同定すること。
• 実世界のワークロード行動に基づいて、次世代エクサスケールおよびペタスケールシステムのアーキテクチャ設計意思決定を支援すること。
• ワークロードの多様性とリソース要件を特徴付けることにより、ソフトウェアおよびシステムレベルのパフォーマンス最適化を支援すること。
• アプリケーションレベルのパターンがシステムレベルのリソース利用状況およびスケーラビリティに与える影響を定量化すること。

提案手法

• ブルーワーターズで12か月間にわたり実行された10万件を超える本番ジョブのジョブレベルのテレメトリデータを収集・分析した。
• 科学的分野（例：気象予測モデル、分子動力学、材料科学）および計算パターン（CPU集約型、メモリ集約型、I/O集約型）別にワークロードを分類した。
• CPU使用率、メモリ帯域幅、I/Oスルーレート、ネットワーク通信量、ジョブ実行時間分布などの主要なシステムレベル指標を測定・プロファイリングした。
• 統計的手法および可視化技術を用いて、異なるアプリケーションタイプ間での傾向、外れ値、ワークロードクラスタリングを同定した。
• アプリケーションレベルの挙動（例：チェックポイント頻度、データアクセスパターン）をシステムリソース消費量およびパフォーマンス指標と相関させた。
• ジョブサイズ、並列度、アルゴリズム設計がシステム効率およびスケーラビリティに与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 ブルーワーターズにおける多様な科学的ワークロードにおいて、支配的な計算およびI/Oパターンは何か？
• RQ2 異なる科学的分野およびアプリケーションタイプ間で、メモリアクセスおよび帯域幅要件はどのように変動するか？
• RQ3 ジョブサイズおよび実行時間の分布は何か？ また、それらはシステム利用状況およびリソース競合にどのように影響するか？
• RQ4 MPIベースのアプリケーションにおける通信パターンは、ネットワークパフォーマンスおよびスケーラビリティとどのように相関するか？
• RQ5 本番HPCワークロードにおけるパフォーマンス劣化または非効率の主な要因は何か？

主な発見

• ブルーワーターズの60％以上がI/O集約型であり、特に気象および地球科学シミュレーションにおいてI/Oパターンに顕著なばらつきが見られた。
• メモリ帯域幅の利用状況は大きく変動し、一部のアプリケーションでは理論ピークの80％以上を達成していたが、他にはメモリ制限を受けた低利用状態にあった。
• 中央値のジョブ実行時間は約1.5時間であり、20％のジョブが24時間以上にわたって実行されており、長時間ジョブの効率的管理が強く求められていることが示された。
• I/O集約型ワークロードではスルーレートに顕著なばらつきが見られ、一部のジョブでは100MB/sを超える持続的I/Oが達成されていたが、他のジョブはストレージスタックのボトルネックによって制限を受けていた。
• MPIベースのアプリケーションにおける通信パターンはネットワークトポロジと強く相関しており、不規則な通信パターンではスケーリングが著しく劣化していた。
• 約30％のジョブでCPU使用率が最適でなく、主に負荷不均衡およびI/Oのシリアライズーションに起因しており、ソフトウェアおよびスケジューリングの改善の余地が示された。