[論文レビュー] Efficient implementation of the overlap operator on multi-GPUs

Andrei Alexandru, Michael Lujan+3 more|arXiv (Cornell University)|Jun 24, 2011

Advanced Data Storage Technologies参考文献 11被引用数 5

ひとこと要約

この論文は、行列の符号関数の多項式近似と最適化された dslash ルーチンを活用することで、lattice QCD シミュレーションにおけるオーバーラップ作用素の効率的なマルチGPU実装を提示している。この手法により、GPU 1台あたり 22–35 コア分の CPU 性能に相当する性能が達成され、32 GPU では 256 コアの CPU クラスタと比較して 3.5 時間で処理を完了する一方、CPU クラスタは 13.5 時間を要する。

ABSTRACT

Lattice QCD calculations were one of the first applications to show the potential of GPUs in the area of high performance computing. Our interest is to find ways to effectively use GPUs for lattice calculations using the overlap operator. The large memory footprint of these codes requires the use of multiple GPUs in parallel. In this paper we show the methods we used to implement this operator efficiently. We run our codes both on a GPU cluster and a CPU cluster with similar interconnects. We find that to match performance the CPU cluster requires 20-30 times more CPU cores than GPUs.

研究の動機と目的

• オーバーラップ作用素の高いメモリ使用量のため、マルチGPUシステム上で大規模な lattice QCD シミュレーションを可能にする。
• 単一GPUのメモリ制限を超えるために、計算を複数のGPUに分散させる。
• 計算的に高負荷なオーバーラップ作用素に対して、マルチGPUクラスタで高い性能と強スケーリングを達成する。
• GPUの性能をCPUクラスタと比較し、GPU対CPUコアの効率比を定量化する。
• オーバーラップ作用素における行列の符号関数の近似手法を評価・最適化する。

提案手法

• 行列の符号関数の近似に多項式近似を用い、Hw のスペクトル全体にわたる誤差を最小化することでオーバーラップ作用素を計算する。
• GPU上で高度に最適化された dslash ルーチンを実装し、高帯域とコalescingを考慮したメモリアクセスパターンを採用する。
• 格子を複数のGPUに分割するドメイン分割戦略を適用し、スケーラブルなメモリ配分を実現する。
• Hw および D の固有ベクトルを計算するために、暗黙的再起動 Arnoldi 法を採用し、ヘリカル固有ベクトルをメモリを半分に圧縮して保存する。
• 動的精度制御を備えた適応的精度共役勾配ソルバーを用い、クォーク伝播関数を効率的に計算する。
• 比較のためのベースラインとして二回走査アルゴリズムを採用したが、多項式近似の方が性能と精度で優れていることが判明した。

実験結果

リサーチクエスチョン

• RQ1 オーバーラップ作用素は、その大きなメモリ使用量のため、複数のGPUにどのように効率的に並列化できるか？
• RQ2 マルチGPU環境下で、行列の符号関数の近似手法として多項式近似と二回走査のどちらが性能と精度で優れているか？
• RQ3 dslash ルーチンおよびクォーク伝播関数計算における、GPU対CPUコアの有効な性能比は何か？
• RQ4 同等の通信帯域を持つCPUクラスタと比較して、マルチGPUでのオーバーラップ作用素実装の性能はどの程度か？
• RQ5 Hw および D の固有ベクトルソルバーをGPUメモリに効果的にオフロードできるか？また、ベクトルをCPUメモリに移動させた場合の性能への影響は？

主な発見

• 行列の符号関数の多項式近似は、二回走査アルゴリズムを上回り、反復回数が少なく、性能が優れている。
• 32 GPU 上での dslash ルーチンは、24 コア分の CPU 性能に相当し、強スケーリング効率は 50% を達成している。
• Hw の固有ベクトル 200 個を 10^-10 の精度で計算するには、32 GPU で 2.7 時間、256 コアの CPU クラスタでは 10.6 時間を要し、26 コア分の等価性能が得られた。
• クォーク伝播関数のための適応的 CG 法は、標準的な CG よりも 60% 速く、GPU では 35 コア分の性能に相当する。
• GPU メモリの制限により Arnoldi ベクトルを CPU メモリに保存した場合、性能は 50–60% 増加するが、ハイブリッドメモリ戦略の実現可能性が裏付けられた。
• 全体として、クォーク伝播関数の計算は 32 GPU で 3.5 時間、256 コアの CPU クラスタでは 13.5 時間で完了し、GPU 対 CPU コア性能比が一貫して 22–35 倍の優位性が確認された。