[論文レビュー] Parallel Spherical Harmonic Transforms on heterogeneous architectures (GPUs/multi-core CPUs)

Mikołaj Szydlarski, Pierre Estérie+3 more|arXiv (Cornell University)|Jun 1, 2011

Geophysics and Gravity Measurements参考文献 22被引用数 6

ひとこと要約

本稿では、CUDAとMPIを用いてマルチコアCPUとGPUを統合した異種アーキテクチャ向けに、高度に最適化された並列球面調和関数変換（SHT）アルゴリズムを提示する。GPUクラスタ上では、CPUベースのMPI/OpenMP実装と比較して逆SHTで最大3倍の高速化を達成しており、高い数値的精度とスケーラビリティを兼ね備えている。一方で、アルゴリズム的設計の違いに起因する、直接変換と逆変換の間の性能差が顕著に現れている。

ABSTRACT

Spherical Harmonic Transforms (SHT) are at the heart of many scientific and practical applications ranging from climate modelling to cosmological observations. In many of these areas new, cutting-edge science goals have been recently proposed requiring simulations and analyses of experimental or observational data at very high resolutions and of unprecedented volumes. Both these aspects pose formidable challenge for the currently existing implementations of the transforms. This paper describes parallel algorithms for computing SHT with two variants of intra-node parallelism appropriate for novel supercomputer architectures, multi-core processors and Graphic Processing Units (GPU). It also discusses their performance, alone and embedded within a top-level, MPI-based parallelisation layer ported from the S2HAT library, in terms of their accuracy, overall efficiency and scalability. We show that our inverse SHT run on GeForce 400 Series GPUs equipped with latest CUDA architecture ("Fermi") outperforms the state of the art implementation for a multi-core processor executed on a current Intel Core i7-2600K. Furthermore, we show that an MPI/CUDA version of the inverse transform run on a cluster of 128 Nvidia Tesla S1070 is as much as 3 times faster than the hybrid MPI/OpenMP version executed on the same number of quad-core processors Intel Nahalem for problem sizes motivated by our target applications. Performance of the direct transforms is however found to be at the best comparable in these cases. We discuss in detail the algorithmic solutions devised for major steps involved in the transforms calculation, emphasising those with a major impact on their overall performance, and elucidates the sources of the dichotomy between the direct and the inverse operations.

研究の動機と目的

• 宇宙論および気象モデルにおける高解像度球面調和関数変換の増大する計算要求に対応する。
• 特に宇宙マイクロ波背景（CMB）シミュレーションにおいて、大規模データ処理における既存SHT実装の性能ボトルネックを克服する。
• 現代の異種アーキテクチャ（マルチコアCPUとGPU）に特化した、効率的でスケーラブルかつ高精度なSHTアルゴリズムを開発する。
• CMBデータ解析およびシミュレーションワークロードの高速化を実現するため、GPUクラスタ上で高性能な逆SHTを可能にする。
• GPUアーキテクチャ上での直接SHTと逆SHTの間の性能格差の原因を調査し、解決する。

提案手法

• GPUの高速化を目的としたCUDAを用いた並列SHTアルゴリズムの設計および実装。マルチコアCPUの並列処理にはOpenMPを活用。
• 複数ノードに跨るスケーリングを可能とするMPIベースの分散メモリ層を統合し、クラスタ上で大規模SHTを実現。
• 特にFFTおよび削減演算の最適化を、CUFFTやIntel MKLなどの高度にチューニングされたライブラリを用いて実施。
• 球面信号の表現および調和係数から天球マップへのマッピングに、HEALPixに基づくスカイピクセル化を採用。
• ノード内およびノード間の並列性を活用するため、MPI/CUDAおよびMPI/OpenMPのハイブリッドプログラミングモデルを採用。
• GPUキーナルのためのメモリコalescing、カーネル結合、効率的なスレッドブロック構成といったアルゴリズム最適化を実装。

実験結果

リサーチクエスチョン

• RQ1 マルチコアCPUとGPUを統合した異種アーキテクチャ上で、球面調和関数変換をどのように効率的に並列化できるか。
• RQ2 GPUアクセラレートSHTをCPUベースの最先端実装と比較した場合、どの程度の性能向上が達成できるか。
• RQ3 GPUアーキテクチャ上ではなぜ逆SHTが直接SHTを上回る性能を示すのか。この性能格差の原因となるアルゴリズム的要因は何か。
• RQ4 MPIベースのハイブリッド実装は、GPUおよびCPUのクラスタ上で、大規模SHTワークロードにどの程度スケーリング可能か。
• RQ5 GPUアクセラレートSHTの結果は、CPUベースの基準実装と比較してどの程度の精度を示すか。

主な発見

• GeForce 400シリーズGPUとCUDAを用いた逆SHTは、Intel Core i7-2600K上で動作する最先端のlibpsht CPU実装を大きく上回る性能を示した。
• 128台のNvidia Tesla S1070 GPUを搭載したクラスタで、MPI/CUDAを用いることで、同じ数のIntel Nehalemクアッドコアプロセッサ上で動作するMPI/OpenMPバージョンと比較して、逆SHTが最大3倍の高速化を達成した。
• 直接SHTはGPU上で僅かな性能向上（約20–30％の高速化）にとどまり、主に削減演算における性能ボトルネックが原因である。
• CPUとGPUで生成された天球マップの絶対差は常に約10⁻¹¹未満にとどまり、アーキテクチャを問わず高い数値的精度が確認された。
• 大規模テストケース（N_side = 16384, ℓ_max = 32768）において、CUDA最適化逆SHTはマルチスレッドCPUバージョンに対して平均3.3倍の高速化を達成した。
• GPU上での直接SHTと逆SHTの性能差は、主に直接変換における削減処理およびメモリアクセスパターンのアルゴリズム的非対称性に起因している。