[論文レビュー] Mixed-mode implementation of PETSc for scalable linear algebra on multi-core processors

Michèle Weiland, Lawrence Mitchell+4 more|arXiv (Cornell University)|May 9, 2012

Parallel Computing and Optimization Techniques参考文献 13被引用数 5

ひとこと要約

本論文では、共有メモリスレーディングと分散メモリメッセージパッシングを組み合わせることで、マルチコアプロセッサ上のスケーラビリティを向上させる、PETScのミックスドモードOpenMP/MPI実装を提示する。純粋なMPIに比べ、マルチコア並列処理をより効果的に活用でき、CFD行列を用いたベンチマークでは、ミックスドモード版が優れた効率性と短いソルブ時間を示した。

ABSTRACT

With multi-core processors a ubiquitous building block of modern supercomputers, it is now past time to enable applications to embrace these developments in processor design. To achieve exascale performance, applications will need ways of exploiting the new levels of parallelism that are exposed in modern high-performance computers. A typical approach to this is to use shared-memory programming techniques to best exploit multi-core nodes along with inter-node message passing. In this paper, we describe the addition of OpenMP threaded functionality to the PETSc library. We highlight some issues that hinder good performance of threaded applications on modern processors and describe how to negate them. The OpenMP branch of PETSc was benchmarked using matrices extracted from Fluidity, a CFD application code, which uses the library as its linear solver engine. The overall performance of the mixed-mode implementation is shown to be superior to that of the pure-MPI version.

研究の動機と目的

• 現代のマルチコアスーパーコンピュータにおけるスケーラブルな線形代数の増大するニーズに対処すること。
• 広く使われているHPCライブラリであるPETScにおいて、共有メモリ並列処理を効率的に活用できるようにすること。
• 現代のプロセッサにおけるスレーディングアプリケーションにおけるパフォーマンスボトルネックを克服すること。
• 実世界のCFDワークロードにおける、ハイブリッドOpenMP/MPI実装のPETScのパフォーマンスを評価すること。

提案手法

• マルチコアノード内での共有メモリ並列処理をサポートするために、PETScにOpenMPスレーディングを拡張した。
• 既存のMPIベースのノード間通信とOpenMPを統合し、ハイブリッドプログラミングモデルを実現した。
• 誤った共有の低減とキャッシュ局所性の向上を図るために、メモリアクセスとスレッドスケジューリングを最適化した。
• 評価のための現実的なベンチマークとして、Fluidity CFDコードから抽出した行列を用いた。
• スレーディングHPCコードに一般的に見られるパフォーマンス問題を軽減するために、ミックスドモード実装をプロファイリングおよびチューニングした。
• OpenMP強化版PETScのパフォーマンスを、元の純粋なMPI版と比較した。

実験結果

リサーチクエスチョン

• RQ1 マルチコアアーキテクチャにおいて、純粋なMPIに比べ、ミックスドモードOpenMP/MPI実装のPETScはどのようにパフォーマンスを向上させるか？
• RQ2 現代のプロセッサにおけるスレーディング線形代数アプリケーションで生じるパフォーマンスボトルネックは何か、そしてそれらはどのように緩和できるか？
• RQ3 現実のCFDワークロードにおいて、ハイブリッドアプローチはマルチコアノードにどのようにスケーリングするか？
• RQ4 PETScのOpenMP拡張は、共有メモリシステムにおけるリソース利用効率の向上を図りながら、高いパフォーマンスを維持できるか？

主な発見

• ミックスドモードPETSc実装は、マルチコアシステムにおいて純粋なMPI版よりも優れたパフォーマンスを達成した。
• Fluidity CFDアプリケーションからの行列において、OpenMP強化版はソルブ時間を顕著に短縮した。
• パフォーマンス向上は、共有メモリ並列処理のより効果的な活用と通信オーバーヘッドの低減に起因する。
• 誤った共有やロードバランシングの問題といった、一般的なスレーディングの問題を効果的に緩和できた。
• ハイブリッドアプローチは、マルチコアノードに強くスケーリングし、高い効率性を維持した。