[論文レビュー] A Massive Data Parallel Computational Framework for Petascale/Exascale Hybrid Computer Systems

Marek Błażewicz, Steven R. Brandt+6 more|arXiv (Cornell University)|Jan 10, 2012

Advanced Data Storage Technologies参考文献 1被引用数 5

ひとこと要約

本論文では、Cactus HPCエコシステムに統合された新しいMPI-CUDA計算フレームワークであるCaCUDAを提示する。このフレームワークは、ペタスケール/エクサスケールのハイブリッドCPU-GPUシステムにおける効率的なデータ並列科学計算を可能にする。GPUメモリ管理の自動化と計算とデータ転送のオーバーパイペティングにより、単一GPUノード上でスタンドアロンCUDAよりも34%高い性能（58 GFlop/s）を達成し、複雑なCFDシミュレーションにおける強力なスケーラビリティと使いやすさを示している。

ABSTRACT

Heterogeneous systems are becoming more common on High Performance Computing (HPC) systems. Even using tools like CUDA and OpenCL it is a non-trivial task to obtain optimal performance on the GPU. Approaches to simplifying this task include Merge (a library based framework for heterogeneous multi-core systems), Zippy (a framework for parallel execution of codes on multiple GPUs), BSGP (a new programming language for general purpose computation on the GPU) and CUDA-lite (an enhancement to CUDA that transforms code based on annotations). In addition, efforts are underway to improve compiler tools for automatic parallelization and optimization of affine loop nests for GPUs and for automatic translation of OpenMP parallelized codes to CUDA. In this paper we present an alternative approach: a new computational framework for the development of massively data parallel scientific codes applications suitable for use on such petascale/exascale hybrid systems built upon the highly scalable Cactus framework. As the first non-trivial demonstration of its usefulness, we successfully developed a new 3D CFD code that achieves improved performance.

研究の動機と目的

• ハイブリッドCPU-GPUシステム上で大規模な科学的アプリケーションにおける最適なGPU性能を達成する際の複雑さに対処すること。
• 低レベルのGPUプログラミングの複雑さを抽象化することで、データ並列科学コードの開発を簡素化すること。
• Cactusのコアを変更することなく、拡張可能なCactus計算フレームワーク内にGPUアクセラレーションをシームレスに統合すること。
• 高性能な3次元非圧縮性CFDアプリケーションを通じて、フレームワークの有効性を実証すること。
• 自動化されたデータ分散と非同期メモリ転送を用いて、ペタスケールクラスのGPUクラスタ上で高いスケーラビリティと性能を達成すること。

提案手法

• ハイブリッドCPU-GPUシステムにおけるGPU実行とデータ移動を管理する新しい「thorn」としてCaCUDAをCactusフレームワークに拡張する。
• ノード間通信にはMPI、ノード内GPUアクセラレーションにはCUDAを用い、分散GPU上でデータ並列実行を可能にする。
• GPUメモリ空間間のデータ転送を自動生成し、カーネル関数テンプレートを管理する。
• 非同期メモリ転送と並列実行を活用して、計算とデータ移動をオーバーラップさせ、無駄な待機時間を削減する。
• プロセス間通信にゴーストセルメカニズムを適用し、数値ステンシルに応じて設定可能なゴースト領域サイズを採用する。
• 3次元非圧縮性ナビエ-ストークス方程式を解くために、ライン法（method of lines）とルンゲ=クッタ時間積分、有限差分離散化を用いる。

実験結果

リサーチクエスチョン

• RQ1 一般的な計算フレームワークは、ハイブリッドCPU-GPUアーキテクチャ上でのデータ並列科学的アプリケーションの開発をどのように簡素化できるか？
• RQ2 Cactusのような成熟したHPCフレームワークにGPUアクセラレーションを統合することで、どの程度の性能向上が達成できるか？
• RQ3 複雑なデータ移動を管理しながら、複数のGPUノードにわたって高いスケーラビリティと効率性を維持できるか？
• RQ4 フレームワークの自動カーネルテンプレーティングとデータ管理は、手書きのCUDA実装と比較して、性能と生産性の両面でどの程度優れているか？
• RQ5 本フレームワークは、CFDなどのステンシルベースの数値法のような複雑な手法をどの程度サポートできるか？

主な発見

• CaCUDAフレームワークは、単一GPUノードで58 GFlop/sの性能を達成し、スタンドアロンCUDA実装（43.5 GFlop/s）よりも34%高い性能を示した。
• フレームワークは強力なスケーラビリティを示し、6ノードGPUクラスターテストベッドにおいて、ノード数が増加するにつれて線形的にスループットが向上した。
• CaCUDAを用いて開発された3次元非圧縮性CFDコードは、Ghiaらのベンチマーク結果と良好な一致を示し、数値的正確性が検証された。
• フレームワークは自動的にCUDAカーネルテンプレートを生成でき、開発者の負担を軽減し、コードの保守性を向上させた。
• 非同期データ転送と計算のオーバーラップの活用により、通信ボトル neck が顕著に軽減され、全体の効率性が向上した。
• Cactusのコアに変更を加えることなくCaCUDAを統合でき、後方互換性と拡張性が保持された。