[論文レビュー] QCD on GPUs: cost effective supercomputing

M. A. Clark|arXiv (Cornell University)|Dec 11, 2009

Particle physics theoretical and experimental studies参考文献 15被引用数 4

ひとこと要約

この論文は、GPUの高い単精度浮動小数点性能とメモリ帯域幅を活用することで、GPUが格子QCD計算のコスト効率の良いプラットフォームであることを示している。特にディラック作用素とミックスド・プレシジョン・ソルバーの再設計、およびメモリアクセスパターンの最適化により、著者らは高いパフォーマンスと効率を達成し、1Mflopあたり0.02ドルという価格性能比を実現した。これにより、GPUは大規模なQCDシミュレーションにおける従来のHPCクラスタの代替手段として実用的であると位置づけられる。

ABSTRACT

The exponential growth of floating point power in graphics processing units (GPUs), together with their low cost, has given rise to an attractive platform upon which to deploy lattice QCD calculations. GPUs are essentially many (O(100)) core chips, that are programmed using a massively threaded environment, and so are representative of the future of high performance computing (HPC). The large ratio of raw floating point operations per second to memory bandwidth that is characteristic of GPUs necessitates that unique algorithmic design choices are made to harness their full potential. We review the progress to date in using GPUs for large scale calculations, and contrast GPUs against more traditional HPC architectures

研究の動機と目的

• GPUを用いた大規模な格子QCD計算の実現可能性とパフォーマンスを評価すること。
• 大量のスレッドレベル並列処理と最適化されたメモリアクセスを要するGPUアーキテクチャにQCDアルゴリズムを効率的にマッピングする課題に対処すること。
• 格子QCDワークロードにおけるGPUベースのシステムと従来のHPCクラスタの価格性能比を比較すること。
• 複数GPUを用いたスケーリングの限界と可能性を調査すること。
• GPUの能力を最大限に活用するためのアルゴリズム的再設計を提唱し、異種コンピューティングにおけるアムダールの法則の制約を克服すること。

提案手法

• GPUプログラミングにNVIDIAのCUDAプラットフォームを活用し、格子QCDカーネルの細粒度でデータ並列な実行を可能にした。
• スレッドブロック間でのメモリトランザクションを一括処理するように最適化することで、メモリ帯域幅の利用効率を最大化した。
• 単精度演算を主に使用し、必要最小限の場合一でしか精度を保証しない二重精度演算を適用することで、初期のGPUにおける二重精度演算のパフォーマンスペナルティを軽減した。
• 不正確なデフレーションや適応的マルチグリッドなどのアルゴリズム的手法を適用し、収束性の向上と計算コストの低減を図った。
• ノード間通信にMPIを用いて、複数GPUシステムにおける弱スケーリングを実装し、1ノードに4つのGPUを搭載した場合に最大90％の効率を達成した。
• スレッドの占有率最大化と共有メモリの使用により、GPUのマルチプロセッサにおけるメモリ遅延を隠蔽し、パフォーマンスを向上させた。

実験結果

リサーチクエスチョン

• RQ1 格子QCDアルゴリズムをどのようにGPUアーキテクチャに効果的にマッピングすることで、高いパフォーマンスを達成できるか？
• RQ2 GPUベースのシステムが従来のHPCクラスタと比較して、格子QCDシミュレーションにおいてどのようなパフォーマンスおよびコスト上の利点を有するか？
• RQ3 ミックスド・プレシジョン・ソルバーは、QCD計算における数値的精度を維持しつつ、計算コストをどの程度低減できるか？
• RQ4 複数GPUを1ノードに搭載するか、複数ノードにまたがって使用する場合、GPUクラスタのスケーラビリティの限界はどこにあるか？
• RQ5 メモリ帯域幅、レジスタ使用量、共有メモリといったアーキテクチャ的特徴が、GPU上のQCDカーネルのパフォーマンスにどのように影響するか？

主な発見

• ウィルソン型離散化において、GPUは1デバイスあたり約100 Gflopsの継続的単精度性能を達成し、価格性能比において従来のCPUを大きく上回った。
• 格子QCDに使用されたGPUクラスタの価格性能比は、およそ1Mflopあたり0.02ドルであり、BG/Pのような従来のスーパーコンピュータと比較してはるかにコスト効率が優れていた。
• 適切なアルゴリズム的最適化により、1ノードに4つのGPUを搭載した場合に、弱スケーリング効率が最大90％に達した。これは、ノード内並列処理の大きな潜在的価値を示している。
• フェルミアーキテクチャの導入により、単精度対二重精度性能のギャップが2倍にまで縮小され、QCDに不可欠な二重精度計算のサポートが著しく向上した。
• 進展はあったが、PCI Express帯域幅の制限と通信オーバーヘッドのため、複数ノードにまたがる多GPUデプロイは依然として困難であり、より優れた相互接続またはアルゴリズム的革新が求められる。
• 二重精度のサポートが向上しても、単精度と二重精度の間でのメモリトラフィックの差異がパフォーマンスに影響を及続するため、ミックスド・プレシジョン手法は依然として不可欠である。