[論文レビュー] Astrophysical Particle Simulations on Heterogeneous CPU-GPU Systems

Naohito Nakasato, Go Ogiya+3 more|arXiv (Cornell University)|Jun 6, 2012

Scientific Research and Discoveries参考文献 50被引用数 8

ひとこと要約

本論文は、オクティーブ法を用いた、CPU-GPUハイブリッドシステム向けに最適化された高性能天体粒子シミュレーションコード OTOO を提示する。GPUに力計算のみをオフロードし、OpenCLベースのベクトル化された木構造走査、作業分割、精度制御を採用することで、1ノード構成においても競争力のある性能を達成し、最大400万粒子の白色矮星合体シミュレーションを可能にした。7970SB GPUでは1タイムステップあたり3.20秒の性能を発揮した。

ABSTRACT

A heterogeneous CPU-GPU node is getting popular in HPC clusters. We need to rethink algorithms and optimization techniques for such system depending on the relative performance of CPU vs. GPU. In this paper, we report a performance optimized particle simulation code "OTOO", that is based on the octree method, for heterogenous systems. Main applications of OTOO are astrophysical simulations such as N-body models and the evolution of a violent merger of stars. We propose optimal task split between CPU and GPU where GPU is only used to compute the calculation of the particle force. Also, we describe optimization techniques such as control of the force accuracy, vectorized tree walk, and work partitioning among multiple GPUs. We used OTOO for modeling a merger of two white dwarf stars and found that OTOO is powerful and practical to simulate the fate of the process.

研究の動機と目的

• 現代のハイブリッドCPU-GPU HPCクラスタ向けに最適化された高性能粒子シミュレーションコードの開発を目的とする。
• 既存の木構造ベースのアルゴリズムを大幅に見直さずに、GPUアクセラレーションを効率的に活用する課題に取り組むこと。
• 白色矮星衝突のような激しい星の合体を、単一ノードのGPUアクセラレートシステム上でスケーラブルかつプロダクションレベルでシミュレート可能にする。
• CPUとGPU間での最適なタスク分割を特定し、特にCPUのオーバーヘッドを最小限に抑えつつGPUの利用度を最大化することに焦点を当てる。
• 特定の天体物理学的問題において、選択的GPUオフロードを実施するハイブリッドCPU-GPUアプローチが、従来のMPPベースの実装を上回る性能と効率を発揮できることを示すこと。

提案手法

• 効率的なN体力計算のためのオクティーブ法を採用し、木構造の構築と走査はCPUで管理し、力計算のみをGPUにオフロードした。
• スタックベースの制限を回避するため、OpenCLで実装されたリンクリストベースの木構造走査を採用し、複雑な木構造に対する柔軟でスケーラブルな走査を実現した。
• GPU上でSIMDに類似した操作を用いたベクトル化された木走査を実装し、力計算中のメモリコalescingと演算強度を向上させた。
• MPI-OpenMPハイブリッドモデルを用いて複数GPU間での作業分割を実現し、マルチGPUノードでの効率的なスケーリングを可能にした。
• 適応的ソフトエンリングと粒子グループ化を適用し、計算負荷を低減しながら数値的整合性を維持するための力の精度制御を実施した。
• SPHと重力計算を統合されたフレームワーク内で実装し、計算強度とデータアクセスパターンに応じて各コンponent別に最適化を実施した。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCPU-GPUシステム上でオクティーブ法を効果的に並列化することで、性能とスケーラビリティを最大化できるか？
• RQ2 GPUとCPUの性能比が著しく異なる状況において、ハイブリッドシステムにおける最適なCPU/GPUタスク分割は何か？
• RQ3 単一ノードのGPUアクセラレート実装が、大規模天体物理学的シミュレーションにおいて、マルチノードMPPシステムと同等の性能を達成できるか？
• RQ4 木構造走査方法の選択（例：スタックベース対リンクリスト）が、GPUアクセラレートシステム上のパフォーマンスとポータビリティに与える影響は何か？
• RQ5 ベクトル化、作業分割、精度制御といった最適化技術の中で、CPU-GPU間データ転送を最小限に抑えつつGPUの利用度を最大化するために最も効果的なものは何か？

主な発見

• 7970SB GPU構成では、1タイムステップあたり平均3.20秒の性能を達成した。Intel icpc 12.1.3でコンパイルした場合、2.52秒にまで短縮され、単一ノードでの高い効率性が示された。
• 7970SBでは、GPUの有効性能が約90 GFlopsに達し、総実行時間からの推定値を大幅に上回った。これはGPUコンputeユニットの高い利用度を示している。
• 重力計算が作業の大部分を占めており（約8×10⁹の相互作用）、1相互作用あたり約20 flopsの計算量を要した。一方、SPH相互作用は比較的軽量（約3×10⁸の相互作用、1回あたり約200 flops）。
• CPUがステップ2およびステップ5で計算的に支配的であり（それぞれ0.34および0.54秒）、特に大規模なEOSテーブルの補間処理が主な要因であった。これにより、CPUのさらなる最適化の必要性が示された。
• 2090HPで4GPUを用いて、4,096,000粒子の白色矮星合体シミュレーションを246時間で実行した。これは、大規模天体物理学的プロダクションランの実現可能性を示している。
• GPU中心のクラスタ（HA-PACS）において、4GPUで良好なスケーリングを示した。また、N=1Mの均一球体シミュレーションにおいて、過去のGPU最適化木コードを上回る、単位時間あたりの性能を達成した。